[지디넷코리아]필자는 96년부터 검색엔진 사업에 몸담고 있다 보니 여전히 검색엔진의 동향과 미래의 검색엔진 모습에 대해 민감할 수밖에 없다. 이전 컬럼에서도 '포스트 구글'에 대해 언급한 적이 있었는데, 결국 검색엔진의 역사는 인터넷의 역사를 대변하고 있다 해도 과언이 아니다. 하지만 어느 시점에서부터인가 인터넷 검색엔진은 세인들의 관심에서 멀어졌고, 더 이상 온라인 서비스 업체들의 킬러 서비스로서의 위상을 가질 수 없게 됐다. 특히 구글이라는 검색엔진이 등장하고 난 이후로는 사실상 검색엔진은 더 이상 발전하기 힘들 것이라는 관측이 지배적이었다.

새로운 시도「클러스터링」
그럼에도 불구하고 최근 계속해서 새로운 검색엔진들이 등장하고 있다. 대표적인 검색엔진은 비비시모와 와이즈넛이라는 검색엔진인데, 둘 다 '클러스터링' 기법을 이용하고 있다. 비비시모의 경우 카네기멀론 대학으로부터 기술을 이전 받아 국내에서 한글화 작업 및 패키징을 한 예이고, 와이즈넛은 마이사이먼으로 유명한 유여걸 사장이 약 2년 동안 공들인 작품이다. 최근의 이 두 검색엔진에 대한 사용자의 인지도가 높아지고 있으며, 공격적인 마케팅으로 시장 진입에 박차를 가하고 있다.

재미있는 것은 앞서 말한 대로 두 검색엔진 모두 클러스터링 기법을 이용했다는 것이다. 그동안 문서 클러스터링 기법은 KMS 분야에서 많이 거론됐고, 자연어처리와 더불어 차세대 검색기술로 많은 검색엔진을 연구하는 학자들로부터 인정받았던 기술이다. 그동안 상용화하기엔 여러 가지 문제점들이 지적됐으나 어느덧 시장에 제품이 등장하게 됐다.

지금까지 클러스터링 기법을 사용할 경우의 가장 큰 문제점은 어떻게 사용자들에게 시각화 하느냐 하는 것이었다. 두 검색엔진은 나름대로의 방법을 이용해 최대한 사용자에게 친근하게 다가섰다는 점에서 매우 고무적이다.

하지만 어떠한 형태로 수익화 할 것인지는 여전히 숙제로 남아있고, 이런 문제들도 역시 업체가 해결할 일이다. 하지만 개인적인 바람은 새로운 시도들이 지속적으로 유지돼야만 풍부한 IT 자원을 보유할 수 있게 될 것이란 점이다. 실패가 무서워 시도도 해보지 못한다면 다양한 기회를 잃어버릴 수밖에 없을 것이며, 그만큼 국내 IT 기술의 기반이 취약해질 것이다.

검색엔진의 미래
여전히 검색엔진의 미래를 밝다고 말할 수는 없다. 하지만 아직도 시도해야 할 많은 기술들이 남아있다. 상품화 및 수익의 관점을 떠나 단순히 기술적인 측면에서 감히 검색엔진의 미래를 논해 본다면 크게 2가지 모습으로 요약할 수 있다.

첫 번째는 CRM 기법이 도입된, 개인화된 검색엔진이 될 것이다. 여기에는 'interest profile'이나 'relevance feedback' 및 다양한 필터링 기법들이 사용되며, 사용자들이 많이 사용할수록 검색엔진도 지능화돼간다.

두 번째는 외국 학회에서 많이 거론되고 있는 시멘텍웹이다. 시멘텍웹은 말 그대로 웹문서가 스스로 의미를 가진다는 개념이다. 문서가 자신의 존재를 알기 때문에 검색엔진이 필요 없으며, 문서들과 사람과의 커뮤니케이션이 가능해진다. 시멘텍웹을 고안해낸 사람은 다름 아닌, HTTP라는 프로토콜을 처음으로 고안해낸 팀버너스리다. 자신이 고안한 HTTP라는 프로토콜을 이용해 현재 웹과 인터넷의 모습을 이뤘음에도 불구하고, 여전히 정보의 공유라는 측면에서 현재의 웹에 대해 스스로 만족하지 못하고 새로운 개념을 주장하게 됐다.

IT 경쟁력은 기업과 정부가 함께
미래는 새로운 검색엔진들이 시대를 지배하게 될 것이다. 하지만 이런 새로운 검색엔진의 개발은 학술적인 연구뿐만 아니라 기업들이 새로운 시도를 두려워하지 않도록 그 기반이 만들어져야만 가능할 것이다. 단순히 시도와 결과를, 기업을 책임으로만 국한시킨다면 국가적인 차원에서 경쟁력은 약해질 수밖에 없다. 물론 이런 문제는 검색엔진이라는 분야에만 국한되지 않는다. 모든 IT 기술들이 마찬가지가 될 것이다.

다양한 벤처지원책과 시범사업 및 선도기술과제로서 차세대 IT 기술에 대한 관심을 가져야한다. IT 경쟁력은 기업과 정부가 함께 만들어야 한다는 사실을 잊어서는 안된다. @