[지디넷코리아]야후는 지난 9일 검색 업계의 강력한 경쟁자인 구글을 다분히 의식한 내용을 발표했다. 이번 발표에는 야후의 웹 문서 데이터베이스에 더 많은 컨텐트를 확보하기 위한 체계적인 방안이 담겨있다.

야후는 보통 딥웹(deep Web)이라 부르는 현재 검색 엔진이 외면하고 있어 쉽게 접속할 수 없는 수십억 개의 문서들에 대한 색인을 만들기 위해 컨텐트 확보 프로그램을 발표했다. 이 프로젝트를 위해 야후는 미 연방의회 도서관과 UCLA, NPR, 미시건 대학, 프로젝트 구텐베르그 등의 기관들과 협력하기로 했다. 이번 협력에 따라 야후는 인터넷 검색을 사용하는 네티즌들이 지금까지 경험한 것보다 더 새롭고 많은 자료들을 검색 인덱스에 포함시킬 수 있게 됐다.

야후의 검색 부문 부사장인 팀 캐도건은 "우리는 무료 컨텐트를 발굴할 수 있는 새로운 방법들을 찾기 위해 노력하고 있다. 가장 어려운 일은 컨텐트 제공자와 검색 엔진 사이에 상호 작용이 부족하다는 점이었다. 결국 우리는 공공 분야와 비영리 단체에까지 손을 뻗어서 좀더 많은 컨텐트를 가져오자고 생각하기에 이르렀다"라고 말했다.

이번에 추진되는 야후의 새로운 계획에는 ‘사이트 매치’와 같은 상업적인 부분도 포함돼 있다. 야후는 데이터베이스에 좀더 신속하게 포함될 수 있도록 하는 급행료 형식으로 마케팅 담당자들로부터 일정한 비용을 받고 웹 주소를 정기적으로 입력할 수 있도록 하는 제도를 도입했다. 업계에서는 이를 유료 인클루전(등록 급행료)라고 한다. 야후는 최근 잉크토미와 알타비스타, 패스트 웹 검색 등을 인수하면서 구성한 유료 인클루전 프로그램을 새롭게 단쟁해 사이트 매치라는 서비스를 시작했다. 지금까지 마케팅 담당자들은 MSN과 같은 검색 협력사는 물론 야후 검색 결과에 들어가려면 3가지의 다른 등록 프로그램을 이용해야 했지만 이제 한 가지 등록 프로그램을 이용해 비용을 지불하면 되는 것이다.

야후의 이같은 움직임은 그동안 검색을 제공해주던 구글과의 결별하고 독자적ㅇ니 기술 플랫폼을 사용하기 시작한 이후 3주만에 벌어지고 있는 상황이다. 야후는 구글로부터 검색계의 왕좌를 빼앗아오기 위해 거의 20억 달러를 들여 검색 기술 업체인 잉크토미와 유료 검색광고 제공 업체인 오버추어 서비스를 인수한 뒤 지난 1년 동안 이같은 변신을 위해 많은 준비를 해왔다.

야후는 지난 몇 년 동안 구글에게 뺏겼던 네티즌의 충성도를 다시 되찾기를 바라고 있었다. 참고로 애널리스트들의 분석에 따르면 올해 검색 엔진 광고 시장이 약 40억 달러에 달할 것으로 예상된다.

야후의 이번 발표가 나오기 몇 주 전 구글은 자기네가 검색해 목록화할 수 있는 문서의 수가 60억 개 이상이라고 자랑한 적이 있었다. 당시 구글은 데이터베이스를 계속 확대해나가면서 전체적으로 구글 검색 결과가 더욱 풍성해질 것이라고 말했다.

야후의 캐도건은 야후가 검색하는 문서의 숫자에 대해서는 언급하려하지 않고 단지 자사의 인덱스 양은 수십억 개에 이른다고만 말했다. 캐도건은 야후의 검색 결과 가운데 거의 99%는 자기네가 공공 웹사이트에서 확보한 것들이라고 말했다. 나머지 1%는 유로 인클루전 프로그램에서 온다.

그는 이번에 새로 발표된 컨텐트 프로그램으로 인해 야후는 검색 불가능했던 문서 가운데 100~1000억 개 정도로 추정되는 문서를 활용하게 되면 자사의 인덱스를 좀더 종합적으로 꾸려나갈 수 있을 것이라고 말했다. 예를 들면 비영리 라디오 방송사인 NPR과의 협력 관계로 인해 야후는 오디오 컨텐트만도 만 7000개 이상을 확보할 수 있게 된다. 게다가 하루 이틀 안에 NPR로부터 새로운 컨텐트를 받게 되면 새로운 컨텐트들을 인덱스에 포함시킬 수 있게 될 것이다.

캐도건은 사용료를 내면 이베이 같은 웹사이트들도 사이트 매치 경매 리스트에 계속해서 새로운 정보를 등록시킬 수 있다고 밝혔다. 그는 웹서퍼들이 ‘BMW 2002 녹색’이라고 입력하는 경우를 생각해볼 수 있다고 설명했다.

마케팅 담당자들이 사이트 매치에 들어가기 위해서는 맨 처음에 들어가는 웹주소에 대해서는 1년에 49달러를 내고 그 이후로는 10개까지 매년 29달러를 내면 된다. 주소가 10개가 넘게 되면 사이트에서는 리스트마다 10달러를 지불한다. 결국 마케팅 담당자들은 검색 결과에서 웹 서퍼가 자사의 리스트를 클릭할 때 15~30센트 정도를 지불하는 셈이다.

그럼에도 불구하고 일부 업계의 인사들은 유료 인클루전 프로그램으로 인해 검색 결과가 영향을 받을 수 있다면서 편견이 들어가지 않은 객관적인 검색 결과를 원하는 네티즌들에게 혼란을 줄 수 있을 것이라면서 우려를 표시하고 있다.

구글은 유료 인클루전 프로그램을 시행하지 않고 있다. 구글의 고위관리들은 유료 등록제를 시행하면 검색 결과에 편견이 들어갈 수 있다면서 비난해왔다.

캐도건은 야후에서는 상업적인 검색과 무료 검색 결과 사이에는 ‘철의 장막’이 쳐져있다면서 야후는 검색 결과가 사람들이 찾는 것이 되도록 하기 위해서 품질 표준을 채택하고 있으며 랭킹 알고리즘을 도입하고 있다고 말했다.

그는 "무료 검색에서부터 모든 것이 다 품질 관리 프로세스를 거쳐야 한다. 또한 순위를 정하는데 있어서는 어떤 종류의 컨텐트이든 상관없이 다 정확하게 똑같은 방법으로 취급하고 있다"며 반박했다. @