[지디넷코리아]인간은 유한한 생명을 가진 존재로 1분 후의 운명을 알 수 없기 때문에 항상 미래에 대한 불안감을 품고 살아간다. 그래서 때로는 자신의 앞날을 막연하게나마 예언해 주는 사주, 팔자, 점성술 등에 의존하고 싶어 하기도 한다.

여러 포탈 사이트에서 운세 카테고리의 사주, 궁합, 점성술, 관상 등의 정보가 약 1000~5000원 정도의 유료 서비스 형태로 제공되고 있으며 최근에는 휴대폰으로 그 서비스 영역을 확장해 나가고 있다. 하지만 고객의 실제 얼굴을 이용한 서비스를 제공하는 곳은 아직 없다. 이에 착안하여 캠코더로 편리하게 자신의 얼굴을 캡처해서 이를 토대로 관상을 보면 어떨까하는 취지에서 프로젝트를 기획하게 됐다.

이번 프로젝트는 얼굴인식 기술을 접목해 일반 사용자가 쉽게 사용할 수 있는 캠코더로부터 영상을 획득하여 이미지 프로세싱을 통해 개인의 관상 정보를 온라인에서 제공하는 것이 목적이다.

실제 필자는 관상이라는 학문이나 운세 등에 대한 지식이 전혀 없이 새로운 아이디어 하나로 기존 서비스와의 차별성에 도전장을 내밀었다고도 볼 수 있다.

경우마다 판단을 해야 하는데 과연 이러한 것이 가능할까에서 고민하기 시작해 구현 가능한 부분으로 하나씩 제한 사항을 두면서 폭을 좁혀 나갔다. 실제 관련 전문직에 있는 사람의 조언과 데이터로 구현 내용들을 좀더 보강하면 상용 서비스로서의 가치가 충분하다고 본다.

3회에 걸쳐서 살펴보게 될 내용은 얼굴인식에 필요한 전 처리 과정, 얼굴 각 부위별 추출, 이 결과를 토대로 한 유사도 판단, 최종적으로 관상 정보 제공까지이다. 프로젝트에 참여한 필자들이 영상처리와 관련된 프로젝트 수행은 처음이었기 때문에 그만큼 처음 접하는 사람들도 쉽게 접근할 수 있도록 방법을 제시한다.

이번 연재에서는 진행할 프로젝트의 시스템 아키텍처와 개발 환경에 대해서 살펴보고 얼굴인식의 전 처리 과정에 대해 알아보도록 한다.

관상 정보 시스템 구축을 위한 준비
본격적인 구현에 들어가기까지 자료 수집과 배경 지식 등은 필수이다. 필자들이 개발 경력이 수년씩 되는 프로그래머도 아니고 관상학이나 주역에 대한 지식도 없었기 때문에 시작부터 어려운 점이 많았다. 관상이라는 아이디어를 내고 관련된 자료를 중앙 도서관, 국회 도서관, ACM 디지털 도서관 등을 찾아다니거나 인터넷 검색을 통해 얼굴인식에 관련된 자료를 수집하고 이를 토대로 스터디를 진행했다.

얼굴인식에도 여러 알고리즘들이 사용되는데, 최종적으로 특징점을 기반으로 얼굴을 인식하고 근사적 윤곽선 알고리즘으로 유사도를 판단하기로 결정했다. 보다 효율적인 얼굴 인식 구현방법을 찾는다면 웨이블릿(Wavelet) 방식을 이용해 보기를 추천한다.

개발 기간이 3개월로 정해져 있었기 때문에 설계, 구현, 데모 시연 일정에 맞추기에 빠듯했다. 대략 1개월 동안 자료 수집과 개발에 필요한 COM, 알고리즘, 관상 데이터의 DB를 구축했으며 1개월 반 동안 실제 코딩과 테스트를 실시했다. 처음부터 남, 여의 일반적 3차원 두상 모델(Generic 3D Head Model)을 3D Max로 미리 작업해 놓고 시작했다.

생체인식의 개념
생체인식에는 영상인식을 위한 얼굴인식을 비롯해 홍채인식, 지문인식, 서명인식, 음성인식 등이 있다. 생체인식 기술은 사람의 신체적, 행태학적 특성을 개인 식별에 이용하는 기술로 보안을 유지해야 하는 여러 분야에서 생체인식 기술의 필요성이 나날이 증가하고 있다. 현재 인식 기술에 기반을 둔 시장은 연 100% 이상의 고성장을 거듭하고 있다. 이러한 배경으로 볼 때 멀지 않은 미래에는 인체의 특징을 비밀번호 대신해서 사용할 수 있을 것이며, 그동안 신분을 나타냈던 다른 도구들은 서서히 사라지게 될 것이다.

사용자들이 편안하면서 안전하게 정보를 보호하려 노력하면서 최상의 보안성을 지녔다고 여겨지는 생체인식 기술에 대한 연구가 계속됐고, 이제 실생활에 활용할 수 있는 단계에 이르렀다.

얼굴인식의 가능성
얼굴인식은 컴퓨터를 이용해 입력 영상만으로 사람의 얼굴을 인식하는 연구이다. 시스템의 대략적인 과정은 먼저 얼굴 영역을 추출하고 이로부터 다시 매칭 특징을 뽑아낸 후 데이터베이스와 비교해 얼굴을 인식한다. 즉 ID 카드 등을 통해 미리 얼굴 영상과 신상 데이터베이스를 구축한 후 카메라를 통해 들어오는 영상을 분리하고 해석해 데이터베이스의 자료와 비교해 얼굴을 인식한다.

<표 1> 현재 얼굴 인식 기술 수준

구분 얼굴형의 검출 특징추출 현 얼굴 인식 근거리 얼굴인식 국내 ㆍ초보적인 수준의 컬러. 모션 정보 사용한 얼굴 영역 검출ㆍ정지영상에서의 얼굴 영역 추출 ㆍ수직 정면 얼굴에 대한 영역 ㆍ신경망, 주성분 분석 기번을 그대로 적용한 수준 ㆍ공식적으로 연구를 수행하는 연구기관 없음 영상의 텍스처 정보를 주로 사용ㆍ일부 기업에서 외국의 초보적인 원천기술 수입 국외 ㆍ하이브리드 기법을 적용한 열굴 영역 추출ㆍ컬러 상수화, 명암 근사, 얼굴 포즈 등 다양한 전 처리 기법을 연구 ㆍ얼굴 요소의 지형적 특징, 얼굴 영역의 영상 텍스처, 얼굴의 적외선 등 다양한 정보를 사용 ㆍ신경망, 주요성분 분석, 그래프 매칭 등 다양한 인식 알고리즘 연구 및 개발 ㆍ경기장 공항 등의 출입구에 대한 근거리 얼굴 인식 시스템 개발

얼굴은 인식 정보를 담고 있고 전달해 주는 가장 자연스러운 도구로 이미지 해석과 이해의 가장 성공적인 응용 중 하나이다. 얼굴인식은 특히 지난 수년 동안 상당한 관심을 받아왔다. AFGR (Automatic Face and Gesture Recognition)과 AVBPA(Audio and Video-based Biometric Person Authentication)와 같은 얼굴인식 컨퍼런스와 FRET(Face REcognition vendor Test), XM2VTS(XM2VTS라는 데이터베이스에서 음성 기반 사람 인증 시스템들의 성능을 평가하기 위해 설계됨) 프로토콜들을 포함하는 얼굴인식 기법의 체계적인 실험적 평가들이 등장하고 있다. 아직은 지문인식 시장 규모에는 떨어지지만 얼굴 인증과 인식 기술은 생체인식 애플리케이션 성장의 풍부한 토대를 제공해 줄 것이다. 얼굴인식의 장점은 다음과 같다.

<표 2> 얼굴 인식 응용 사례

분야 응용사례 바이오 메트릭 운전자 면허, 권한 부여 프로그램 이민, 국적 ID, 여권, 투표자등록 복지 관련 사기 정보보안 데스크톱 로그인 응용 보안, 데이터베이스 보안, 파일 암호화 인트라넷 보안, 인터넷 접속, 의료 기록 거래용 단말기 보안 사법 및 감시 진보된 비디오 감시, CCTV제어 출입구 통제, 포스트-이벤트 분석 절도 및 용의자 추적과 조사 스마트카드 전자 지갑 보안, 사용자 인증 접근 제어 시설 접근, 차량 접근

얼굴인식의 문제점
이번 프로젝트는 사용자들이 쉽게 자신의 얼굴을 캡처하여 이를 토대로 관상 서비스를 제공하는게 목적이었다. 그러나 많은 얼굴인식 기법들이 제안되었고 상당한 가능성을 보여주었다 하더라도 얼굴인식의 작업은 여전히 어려우며 한계도 명확하다. 얼굴인식의 문제는 인식 환경이나 인식 대상의 가변성에 있다. 즉, 주변 환경이 변하거나 얼굴의 모양이 바뀔 수 있는데, 얼굴인식 시스템은 이러한 점을 고려해 설계해야 한다.

하나의 영상에서 얼굴을 찾아내, 찾아낸 얼굴에서부터 코, 눈, 눈썹, 입 등 부위별로 추출해 내는 데에는 많은 제약사항들이 있다. 특히 조명 문제, 머리카락 형태(예를 들어 여성의 경우 머리카락이 얼굴을 가리고 있는 경우 인식할 수 없다는 문제점이 있다), 얼굴 방향에 따라서 인식되지 않거나 혹은 다른 사람으로 인식될 수가 있다. 조명에 의해서 유도되는 변화들은 종종 개인별 차이보다 더 큰데 이것은 이미지들을 비교하는 것에 기반을 두는 시스템들이 입력 이미지들을 잘못 분류하는 원인이 된다.

실제로 이번 프로젝트를 수행하면서 처음 계획에서는 게임방과 가정에서 자신의 관상을 보도록 진행했는데 조명에 따라 얼굴인식 실패, 혹은 전혀 다른 사람으로 인식하는 일이 발생했다.


<화면 2> 같은 얼굴이 조명에 따라 다르게 나타남
<화면 2>를 보면 같은 얼굴에 비춰지는 조명에 따라 이미지가 다르게 나타난다는 것을 알 수 있다. 많은 테스트를 해본 결과, 사진관에서 찍은 명함판 사진의 인식률이 상당히 높았다. 이것을 해결하기 위해 여러 가지 해결 기법들이 제시되고 있지만 그 외에도 여러 난제들이 존재하고 있다. 최종적인 프로젝트 결과에서는 흔히 사용하는 캠코더로 얼굴을 캡처하기 위해 얼굴 전면의 양쪽에 조명을 두어 최대한 얼굴 인식률을 높이도록 했다.

<표 3> 개발 환경

하드웨어 플랫폼 소프트웨어 플랫폼 웹서버 클라이언트 OS 개발 툴 영상처리에 사용된알고리즘 기법 서버(DB 서버/ 웹 서버) : IBM호환기종(펜티엄 III 1GHz, 256MB 메모리)클라이언트 : IBM 호환기종(펜티엄 III 1GHz, 256MB 메모리) DB서버 : 윈도우 2000 서버, MS SQL 서버 2000 윈도우 2000 서버 MS SQL 서버 2000 윈도우 2000 프로페셔널 비주얼 C++ 6.0(MFC, ATL/COM, Win32 API), .NET ASP GFCD, BWCD,배경 라벨링재귀적 윤곽선근사 알고리즘

관상 정보 시스템의 구성
<그림 1>은 구현한 프로젝트의 전체적인 아키텍처이다. 관상을 보고자하는 고객이 웹 사이트에 처음 접속하면 액티브X 컨트롤이 클라이언트 컴퓨터에 다운로드되어 설치된다. 웹 페이지의 지시에 따라 사용자는 자신의 얼굴을 화상 카메라를 이용하여 캡처하고 캡처된 얼굴이미지는 설치된 컴포넌트 내부에서 이미지 프로세싱을 한다.

이미지 프로세싱은 얼굴 색상 분포(General Face Color Distribution, GFCD), 흑백 색상 분포(Black and White Color Distribution, BWCD), 배경 라벨링(Background Labeling) 변환 등을 거쳐 얼굴 영역과 눈, 눈썹, 코, 입 등의 얼굴 각 부위를 얻어내고 그 위치에 따른 비례 값과 각 부위의 모양 정보를 특징점 추출 함수를 통해 얻어낸다. 이 얼굴 이미지에 관한 수치 정보가 서버 컴퓨터에 전송된 다음 데이터베이스에 저장돼 있던 사용자에 맞는 관상 정보가 웹 페이지에 보인다.


<그림 1> 시스템 아키텍처
얼굴인식 방법 - 특징점 기반 방식
개발하기 위한 배경지식으로 MFC, API, .NET ASP, COM, MS-SQL에 대한 기본적인 내용에 대해 숙지하고 있다고 가정하고 진행하도록 하겠다. 얼굴 인식 방법은 크게 <표 4>와 같이 두 가지 형태로 볼 수 있다.

<표 4> 얼굴 인식 방법

구분 특징점 기반 방식 영상 기반 방식 특성 얼굴의 세부적인 각 특징들을 추출하여 특징들의 크기와 상대적인 위치 등을 계산하여 얼굴의 유사성을 판단하는 기준으로 사용한다. PCA(Principal Component Analysis)는 3차원 얼굴 영상을 이요하는 방식으로 눈, 코, 입 등 얼굴의 특징을 나타낼 수 있는 곳에 점을 찍고 각 점들 사이의 관계를 이용하여 얼굴을 구분해 내는 방식이다.

본 프로젝트에서는 특징점 기반 방식으로 구현했다. 특징점 기반 방식으로 추출하는 방법은 얼굴인식에서 사용하는 전통적인 방법으로 눈, 코, 입 등 얼굴의 특징을 나타낼 수 있는 곳에 점을 찍고 이 점들 사이의 관계를 이용해 얼굴을 구분하는 방법이다. 일반적으로 많이 사용하는 것이 눈 사이의 거리, 눈썹의 꺾어진 각도, 코의 길이, 입의 크기 등이다. 특징점의 개수나 위치는 정해진 것이 없고 주어진 얼굴 데이터베이스를 잘 구분해 내는 정도에서 최소한으로 잡아야 한다.

특징점을 잡는 하나의 예로는 MPEG-5 SNHC(Synthetic Natural Hybrid Coding) 그룹에서 사용하는 FDP(Facial Definition Parameters)가 있다. 이는 얼굴인식을 위해 정의된 특징점은 아니지만 얼굴을 표현하기 위해 정한 특징들이기 때문에 인식을 위해서도 사용될 수 있다.

얼굴인식의 준비 단계
전 처리(preprocessing) 과정은 캡처된 이미지를 인식하기 위한 준비 단계로 생각하면 된다. 얼굴인식에 있어서 원하는 각 부위의 데이터를 추출하기 위한 처리 과정으로 GFCD, BWCD, 이진화, 배경 라벨링을 통한 처리가 선행되어야 한다. 보편적으로 원하는 영상을 얻기 위해 이러한 전 처리 과정을 거치게 된다.

캡처된 이미지는 이러한 일련의 과정을 거쳐 최종적으로 하나의 이미지에서 얼굴에 해당하는 영역만 추출해 낼 수 있다. <그림 2>에서 나타난 것은 이미지 프로세싱 모듈의 얼굴 부위(눈, 코, 입 등)를 추출하기 위한 전 처리 과정이다.


<그림 2> 이미지 처리 모듈
얼굴 색상 분포
얼굴 색상 분포는 GFCD라고 하며 얼굴인식이나 영상인식에서 비슷하게 GSCD(General Skin Color Distribution)로 쓰기도 한다. 캡처된 영상으로부터 얼굴 영역을 인식하기 위해서 얼굴 부분을 획득하기 위해 처리하는 과정이다.

캡처된 이미지를 보면 피부색에 대한 색상 발생 빈도가 특정 영역을 중심으로 밀집되어 있다. 입력된 컬러 영상에서 얼굴의 피부 색상만을 추출하기 위해 얼굴 피부 색상과 비슷한 값을 가지는 픽셀의 색상 값은 높은 확률 값을 갖게 하고 그 이외의 색상의 영역은 낮은 확률 값을 갖게 하는 방법이다.

<그림 3>과 같이 피부색의 색상 값과 분산 값을 이용하여 정규화된 색상 공간(r,g)에 2차원 가우시안 모델링을 사용한다. <화면 3>은 2차원 가우시안 모델링을 적용하여 나타난 결과이다. 얼굴 이외의 영역에서 피부색 부분을 제거하고 얼굴 영역의 색상을 구할 수 있다.

흑백 컬러 분포
색상 정보를 이용하는 과정에서 조명의 변화나 다른 주위 조건의 변화에 민감하지 않게 하기 위해 입력된 영상을 먼저 휘도(밝기) 성분으로 정규화하는 과정을 거친다. 시스템의 입력인 컬러 영상의 각 화소들이 RGB의 3차원 색상 모델을 사용하고 있을 때 휘도 성분인 R+G+B로 정규화한다. 정규화된 색상 모델은 b=1-(r+g)이므로 r, g의 두 요소만으로 표현이 가능하다.

휘도 성분의 정규화를 거친 색상 모델에서 우리의 관심 대상이 되는 부분은 사람의 피부 색인 살색과 얼굴 내부의 주요 구성 성분의 색상인 흰색과 검은색이다. <화면 4>와 같이 휘도 성분이 제거된 다양한 조건의 피부색과 흰색, 검은색들은 특정한 값을 중심으로 좁은 영역에 밀집되어 있다.

<화면 3> GFCD 처리 결과		<화면 4> BWCD 처리 결과

이러한 분포를 이용한 변환을 하면 특정한 색상을 강조할 수 있게 된다. 이 시스템에서는 피부 색상을 강조하기 위한 GSCD와 흰색, 검은색을 강조하기 위한 BWCD 변환을 다음과 같이 정의한다.


이와 같은 변환 과정은 컬러 영상 내에서 우리가 원하는 색상인 (mr, mg)에 해당하는 영역을 높은 명암 값으로 표시하며 이 색과 다른 색상을 가지는 영역을 낮은 명암 값으로 표시한다. 즉 (mr, mg)의 값을 조정함으로써 원하는 살색과 흰색, 검은색을 띄는 영역만을 추출할 수 있는 것이다. Y(쪽)는 변환을 거친 결과이며 G(쪽)는 2차원 가우시안 함수를 나타낸다. r(쪽)과 g(쪽)는 각각 정규화된 색상 모델로 표현된 입력 영상의 r성분과 g성분을 의미하고 있다.

임계 값을 이용한 이진화
영상처리의 가장 기본적인 기법 중 하나인 이진화(Binary) 처리는 비교적 간단한 알고리즘이다. 이 이진화 기법은 지문인식 기술, 문자인식 기술에서 특정 정보를 추출하기 위한 전 처리 과정으로 영상을 향상시키기 위해 사용된다.




<그림 4> 임계값에 의한 이진화 과정
이진화 기법의 원리는 히스토그램의 분포 정도를 근거로 하여 임계 값을 결정하게 된다. 하지만 이것만으로 정확한 값을 결정하기 힘든 경우가 있다. 이러한 경우의 영상은 실험에 의한 경험론적 임계치를 설정하여 사용한다. 따라서 임계 값의 설정에 대해서는 주어진 환경에 따라 그 값이 다르게 적용돼야 한다. 조명, 주변 환경 등의 영향을 토대로 테스트를 통해 정확도를 높인다. <리스트 1>에서 임계 값은 임의로 128이 되었는데 이 임계 값은 구현자가 테스트할 때 좋은 결과를 나타내는 값으로 변경해 주면 된다.

<리스트 1> 이진화 구현 함수

void CTest ::Binary() {     for(int i=0; i< 255; i++) {         for(int j=0; j<255; j++) {         if(m_OpenImg[i][j] >=128) { //임계 값 설정 128-Level    ?             m_ResultImg[i][j] =255; //128 이상이면 흰색    ?             }         else m_ResultImg[i][j]=0; //128 미만이면 검정색    ?         }     } }

배경 라벨링
배경 라벨링은 쉽게 말하면 캡처된 이미지에서 얼굴과 배경을 분리하는 것이다. 우리가 필요한 것은 하나의 이미지이기 때문이다.

연결 성분 분석, 즉 라벨링은 입력 영상을 스캔하면서 연결된 성분들을 찾아내어 얼굴 추출에 사용하는 모듈로 위에서 아래로, 좌에서 우로 스캔한다. 연결 성분을 분석하게 되면 각 덩어리마다 사이즈와 위치를 분석할 수 있게 되며 이는 후보 영역 결정에 중요한 정보로 사용된다.

다시 말하면, <그림 5>를 하나의 이미지 덩어리라고 할 때 위에서 아래로(A→C→E), 좌에서 우로(A→B)로 스캔하면서 전체 이미지에서 얼굴 영역에 해당하는 부분만을 찾아낸다는 것이다.

일반적으로 입력 영상에서 얼굴 이미지가 가장 크다는 것에 착안하여 컬러 변환된 입력 영상에서 가장 큰 덩어리를 찾아내는 알고리즘은 <리스트 2>와 같이 구성한다. 이렇게 라벨링을 통해 얼굴 영역을 찾아낸다.

<리스트 2> 라벨링 처리 조건

for(i=1; i<InputImageWidth-windowSize; i++     for(j=1; j<InputImageHeight ? windowSize j++)     {         if (D가 살색인가?)         {             if (B와 C가 Solid Area인가? &&ㅠ !=C)             {                 D=B와 C중 작은 값                     Same_Solid Area=B와 C 중 큰 값                     Solid_Area 사이즈를 보정한다                     Solid Area 개수를 하나 줄인다.                     Same_Solid_Area를 수정해서 통일한다.             }         }         else if (B와 E가 Solid Area인가? && B!=E)           // 위와 같은 방법으로         else if (A와 E가 Solid Area인가? && A!=E)           // 위와 같은 방법으로         else if(A가 Solid Area인가?)           D=A         else if(B가 Solid Area인가?)           D=B         else if(C가 Solid Area인가?)           D=C         else if(E가 Solid Area인가?)           D=E         else         {           //새로운 Solid Area           Solid Area 개수를 하나 증가           D=새로운 Solid Area로 마크         }         D에 마크된 Solid Area Size 하나 증가         }     } }

얼굴인식과 전 처리 과정의 실제 적용
지금까지 얼굴인식의 전반적인 사항들과 전 처리 과정에 대해서 살펴봤다. 현재까지의 영상인식은 획득한 이미지를 이용해 인식할 수 있는 것에 많은 제약 사항들과 어려움이 있지만 여러 가지 부분들을 극복하기 위한 연구가 계속되고 있으며 향후 더 많은 부분에 적용될 것이라고 본다.

이번 연재에서 주로 다뤘던 부분은 GFCD, BWCD 이진화, 배경 라벨링을 통해서 캡처된 원래 영상으로부터 얼굴과 배경의 분리를 통해 필요로 하는 얼굴 영역을 획득하는 전 처리 과정이었다. 전 처리 과정은 원래의 영상을 원하는 형태의 이미지 조작, 변경, 추출 등의 작업을 하기 전에 진행되는 일련의 과정이라고 보면 된다.

다음 연재에서는 복습하는 의미에서 이러한 전 처리 부분이 실제 프로젝트에 적용된 예를 살펴 본다. 그리고 얼굴 영역을 토대로 각 부위(눈, 눈썹, 코, 입)를 추출하고 추출된 부위별 크기, 비율(눈썹 사이 간격) 등의 수치를 이용하여 유사도를 판단하는 내용에 대해 구현해 본다. @

* 이 기사는 ZDNet Korea의 자매지인 마이크로소프트웨어에 게재된 내용입니다.