많은 통계의 홍수 속에서 살고 있다. 매일 수많은 통계 수치를 담고 있는 뉴스를 만나며, 업무 속에서도 수많은 숫자들의 조합으로 탄생한 통계들과 씨름하고 있다. 그만큼 정량화된 숫자라는 것은 불확실한 현실에서 그나마 확정된 형태의 위안을 우리에게 주는 존재인 듯하다. 그러나 마음의 위안을 주는 긍정적인 요소를 지닌 통계 수치들이 정확하지 않아서 본연의 기능을 하지 못하고 진실을 왜곡하는 경우도 적지 않은 것 같다. 어떤 경우에는 자기의 주장을 합리화 시키기 위해서 왜곡하기도 하니 두 눈 부릅뜨고 통계를 바라봐야 하는 괴로운 세상이 되었다.

1종 오류, 2종 오류 ?
많은 분들이 잘 아시다시피 통계에는 통계적 오류에 빠지지 않기 위한 준비 장치가 되어 있다. 신뢰도라는 것을 명시하여, 통계 수치를 어느 정도 믿을 수 있는 지를 가늠하게 한다. 예를 들어, 95%의 신뢰도라고 표시되면 95%는 믿을 수 있으나, 5%는 믿을 수 없으니, 5%의 가능성을 가지고 유의해서 지켜보라는 것이다.

그래서 이 5%를 유의수준이라고 부르기도 한다. 통계에서는 전후 사건 사이에 아무런 차이가 없는 데도 불구하고 우연찮게 5%의 범주에 포함되어서 전후 사건 사이에 의미있는 차이가 있다고 착각하는 것을 제1종 오류(type I error) 라고 명명하고 있다. 제 2종 오류는 전후 사건 사이에 차이가 있는데도 불구하고 없다고 판단하는 것을 말하며, 심각성으로 보면 별로 바뀐 것이 없는데 바뀌었다고 해서 머리 싸매고 원인을 찾게 만드는 제 1종 오류의 피해가 크다.

인터넷 통계 어디까지 믿어야 하나
최근 검색광고 및 배너광고 등 인터넷 광고 시장이 크게 성장하면서 각 포탈들의 미디어의 영향력을 가늠하기 위한 인터넷 통계 시장도 많이 커졌다. 코리안클릭, 인터넷메트릭스, 랭키닷컴 등 많은 업체들이 다양한 방식으로 전체 인터넷 시장의 판도를 매주마다 쏟아내고 있다. 10월말에는 엠파스가 코리안클릭의 방문자 조사 결과를 근거로 검색 페이지뷰가 야후를 추월했다는 보도 자료를 언론에 내기도 했다. 경쟁사들 사이에서 확실히 비교할 만한 근거 데이터가 없는 상황이니 인터넷 조사업체의 데이터가 한줄기 빛처럼 느껴졌을 수는 있으리라.

그러나 얼마만큼 데이터를 신뢰할 수 있을까. 현재의 조사 방법은 전수 조사 방식이 아닌 패널 방식이다. 좀더 자세히 설명하자면, 일정한 수의 패널(표본이라고도 할 수 있는)을 인구 비례에 맞게 선정하여 패널들의 인터넷 활용 패턴을 조사한 후에, 인구 비례에 맞추어서 전체 인터넷 사용자의 패턴을 역산하는 방식이다. 조사의 시간 및 예산 등의 이유로 패널의 수는 제한될 수 밖에 없어서 보통 수천~수만명 정도이다. 또한 한번 패널을 선정하면 역시 시간 및 예산 등의 이유로 선정 이후 수년이 경과할 때까지 패널을 유지할 수 밖에 없어서 패널 자체가 오염될 소지도 다분하다.

상황이 이와 같음에도 불구하고, 업체들은 통계치의 신뢰도 정보를 제공하고 있지 않고 있다. 기본적인 신뢰도 정보가 있어야 데이터를 보는 사람이 어느 정도 유의하면서 데이터를 받아 들일 지 판단할 수 있다. 신뢰도 정보를 제공하는 것이 통계 제공 업체 스스로도 직업적인 의무를 다하는 것이라고 본다. 물론 매번 이런 신뢰도 정보를 세세하게 내는 것이 어렵긴 하겠지만 우리가 충분히 신뢰할 수 있을 때까지는 필요할 것으로 본다. 이런 상황에서 만 명 수준의 패널들의 활동 정보로 수천~수만 개의 URL에 대한 통계치를 내고 이를 사실로 받아들이는 현실은 문제가 있다.

공동의 조사가 필요한 시점이 되었다
과거에도 이런 부정확한 통계치에 대한 문제 제기가 여러 번 있었다. 수년 전 객관적인 조사를 할 수 있는 공동의 기구를 만들자는 움직임이 있었으나 각 업체들의 이해관계가 얽히면서 무산되었다. 그러나 현재와 같이 급성장한 인터넷 미디어의 규모를 고려할 때 공동의 조사가 필요하다고 본다. 합의된 공동 조사 방법을 바탕으로 어느 정도의 신뢰도를 가지는 지를 밝히고, 어느 정도의 하위 레벨까지 조사 가치가 있는 지를 판단하여 올바른 정보를 제공할 필요가 있다. 지난 주 페이지뷰가 이번 주에 비해서 실제로는 아무 변화가 없음에도 불구하고 제법 큰 유의수준 때문에 엄청난 차이가 있는 것처럼 부풀려 지고 그것을 믿고 이유를 분석해야 하는 상황은 우리를 피곤케 한다. 세상에 완벽한 통계란 없다. 정답은 신의 영역에 있으니 우리는 좀더 겸손해져야 할 것이다.@