[지디넷코리아]IT 및 비즈니스 전문가들은 관계형 데이터베이스를 필수품이라고 생각하기 때문에 이 기술이 기본적으로 모든 데이터 관리 업무에 적합하다는 가정에 의문을 제기하지 않는다. 그러나 이제는 이러한 상식을 다시 검토할 때다.

관계형 데이터베이스 관리 시스템(RDBMS)이 지배적인 위치를 차지한 것은 ▲세련된 개발 도구, ▲자주 변경되는 정보를 다룰 수 있는 기능, ▲다수 사용자 동시 접속 등 여러 기능을 지원했기 때문이다.

그러나 오늘날 기업들이 만드는 데이터의 특성은 거의 모든 측면에서 RDBMS의 강점과는 잘 맞지 않는다. 이러한 불일치는 정보가 생성돼 소멸되기까지 데이터가 어떻게 처리되는지 평가해 보면 알 수 있다. 또는 정보 생명주기 관리(Information Lifecycle Management)를 살펴보면 드러난다. ILM은 급격히 늘어나는 기업 데이터를 처리하는 데 쓰이는 효과적인 방법론으로 최근 들어 기업의 IT 부서에 빠르게 보급되고 있다.

RDBMS 시대에는 예상 못한 변화들
IT 분야에서 요즘 관심이 집중되는 화제인 RFID와 사베인-옥슬리 법안의 요구사항을 고려해 보자. 데이터라는 관점에서 보면 이 두 가지는 공통적으로 휴대폰 통화 기록이나 제조업체의 자재비 정보를 다룬다.

이들 소스가 생성하는 엄청난 데이터는 과거의 사업 과정과 관련이 있다. 이들 데이터 범주는 세 가지 주요 특성을 갖고 있다.

데이터 기록은 트랜잭션 비율이 높을 때(주로 자동화된 소스에서) 생성되므로 저장된 데이터의 양이 크다.

데이터 기록은 한 번 만들어지면 변경되지 않는다.

데이터 기록은 주로 나중에 참조할 목적으로 저장돼야 하며 접근을 허용하더라도 제한적으로 해야 한다.

2주 간의 휴대폰 통화 기록은 4TB(4000GB) 이상의 데이터베이스를 채울 것이고 이른바 3G 모바일 네트워크에서는 그 10배 혹은 20배가 될 것이다. RFID 레코드의 경우 주요 소매업체와 유통업체들이 수십 TB를 생성할 것으로 예측된다. 믿기 어렵겠지만 매일 수백만 TB가 생성될 것으로 보는 예측도 있다.

불일치는 바로 여기에 존재한다. 관계형 데이터베이스의 트랜잭션, 동적인 특성, 다중 사용자 지원은 뛰어난 기능이지만 단순히 저장만 하거나 한 번 기록하고 난 후에는 읽기만 하는 기업 데이터에는 분에 넘치는 것이다.

이러한 과도한 기능으로 인해 처리해야 할 데이터 양이 늘어날수록 상당한 규모로 하드웨어와 소프트웨어에 투자해야 한다. 비용이 수십만 달러에 쉽게 도달하는 상황이라면 예산이 많은 데이터센터라도 이 문제를 풀기 위해 어려움을 겪을 것이다.

해법은 RDBMS와 이를 보완할 수 있는 기술을 함께 사용하는 것이다. 이러한 보완 기술은 한 번만 기록되는 대용량 데이터를 입력하고 저장하는 데 적합해야 한다. 아이러니하게도 한때 역사책속으로 사라져 버린 어떤 기술이 현재와 미래의 요구사항에 완벽하게 들어맞는다는 것이다. 바로 플랫 파일(flat file)이다.

플랫 파일의 재조명
플랫 파일은 관계형 데이터베이스의 주요 기능인 색인을 채택함으로써 앞서 설명한 디지털 비즈니스 이벤트 데이터의 모든 요구사항을 만족시킬 수 있게 됐다.예전에는 애플리케이션 내장 데이터베이스와 데스크톱 프로그램에 이 기능을 맡겼다.

데이터베이스에서 색인은 각 필드의 엔트리(예 : 사용자명, 전화번호 등), 그리고 그와 일치하는 특정 레코드의 위치를 제공함으로써 대규모 데이터에 대한 질의 접근 속도를 높이는 기능을 한다. 색인을 플랫 파일에 적용하면 저장 공간의 접근성이 좋아진다. 이는 테이프 라이브러리보다 훨씬 접근성이 좋아서 기업의 리포팅 요구에 빠르게 응답할 수 있다.

게다가 비교적 저렴한 서버 하드웨어에도 구축할 수 있다. 가격이 계속 떨어지는 디스크 기반 저장장치와 결합하면 플랫 파일 시스템은 비용 대비 효과 면에서 매우 뛰어난 방식이 될 수 있다.

또한 많은 용량을 차지하는 비즈니스 이벤트 데이터를 플랫 파일 기반 솔루션으로 이전하면 RDBMS의 성능이 개선된다는 점도 중요하다. 이와 동시에 플랫 파일 방식은 비즈니스 지원을 희생하지 않고도 적절한 데이터를, 적절한 위치에, 적절한 비용으로 저장함으로써 ILM에서 제시하는 비전을 실현할 수 있다.

이제는 폭증하는 데이터를 어떻게 처리할지 다시 검토할 때다. 관계형 데이터베이스는 인상적인 기술이지만 나중에 한두 번 접근할까 말까 한 대규모의 정적 데이터를 저장하는 데는 가장 비싼 기술이기도 하다.

또한 관계형 데이터베이스에 저장된 데이터 중 80%는 한 번 기록된 후 전혀 액세스되지 않는다는 것은 잘 알려진 사실이다. 디지털 비즈니스 이벤트 데이터의 경우 이 비율은 더욱 높아질 것이고 레코드는 한 번 기록되면 액세스되지 않으며 다수 사용자가 이를 고치지도 않을 것이라는 사실을 잘 알고 있다.

간단히 이야기하면 관계형 데이터베이스는 디지털 비즈니스 이벤트라는 못을 박기 위해 해머를 쓰는 꼴이라고 할 수 있다. @