IT 종합뉴스서비스

[지디넷코리아]얼굴인식에서 영상에 대한 제약 사항은 상당히 까다롭다. 지난 호에서 다뤘듯이 같은 얼굴이라 하더라도 자세와 조명에 따라 전혀 다른 사람이 나올 수 있기 때문이다. 이번 프로젝트에서 사용한 약 5만 화소의 웹 카메라로부터 최적의 영상을 얻기 위해 필자들은 실제 사진관과 같은 장치를 나름대로 제작해 사용하였다.

얻어진 영상으로부터 얼굴 영역만을 추출하기 위해 전 처리 과정으로서 얼굴 색상 분포(GFCD, General Face Color Distribution), 흑백 색상 분포(BWCD, Black and White Color Distribution), 바이너리(binary), 백그라운드 라벨링(background labeling)을 적용했다. 이번 호에서는 전 처리 과정에서 추출한 얼굴 영역을 토대로 얼굴의 각 부위를 추출해 보도록 하겠다.

얼굴의 각 부위는 비례 정보를 토대로 눈, 코, 입 등의 크기와 형태 정보를 얻는다. 이러한 일련의 전체 과정을 살펴보도록 하겠다. <그림 1>은 얼굴 영역을 획득하고 이를 토대로 하여 눈, 눈썹, 코, 입 영역의 부위별 추출을 위한 처리 과정을 보여준다.

<그림 1> 부위별 추출 처리 과정

얼굴 인식 모듈 구현
입력 영상으로 컬러 영상을 사용하고 그 중에서도 기존 웹 카메라에서 가장 많이 사용하는 3차원의 RGB 색상 공간을 사용한다. RGB 각각의 화소 값은 입력 장치에 의해 [0, 1, 2, 3, …, 254, 255]의 값으로 변환된다. 이 값에는 색상 정보와 함께 휘도 성분도 포함되어 있는데, 여기에서는 컬러 영상에서 색상 정보만을 이용하므로 휘도 성분을 정규화하는 <그림 2>의 식과 같은 과정이 필요하다.

<그림 2> R, G만으로 공간표현

<수식 1> RGB 값의 정규화 식

<그림 2>처럼 정규화된 r, g, b는 <수식 1>과 같이 되므로 r, g만으로 공간을 표현할 수 있다. 이렇게 표현하게 되면 화상 입력시 휘도에 의한 영향을 덜 받고 색상 성분의 개수가 줄어들어 계산량이 상당히 적어진다는 장점이 있다.

정규화된 색상 공간에서 몇 가지 조건의 얼굴 색상 정보를 분석해 보면 피부색에 대한 색상 발생 빈도가 특정 영역을 중심으로 밀집되어 있는 것을 알 수 있다. 그러므로 입력된 컬러 영상에서 얼굴의 피부 색상만을 추출하기 위해서 얼굴 피부 색상과 비슷한 값을 가지는 픽셀의 색상 값은 높은 확률 값을 가지게 하고, 그 이외 색상의 영역은 낮은 확률 값을 갖게 하는 방법을 사용했다. 이를 위해 실험에 의한 피부색의 색상 값과 분산 값을 이용하여 정규화된 색상 공간에서 2차원 가우시안 모델링을 사용했다.

이번 시스템에서 중요한 것은 얼굴 영역과 눈, 그리고 눈썹의 위치이므로 얼굴 영역을 위한 변환과 눈, 눈썹 영역을 위한 색상 변환을 하였다. 전자는 피부색이고 후자는 검은색과 흰색인데, 각각에 대해서 수십 개의 입력 영상을 취해 평균 값과 분산 값을 구하였다. 각각 조명을 다르게 해서 구했는데 값의 차이는 조금 있었으나 대체로 일정한 범위를 유지하였다. GFCD의 경우 평균 값(mr, mg)은 (0.344, 0.33)이었고 분산 값(dr, dg)은 (0.07, 0.86)이었다.

이렇게 해서 2차원 가우시안 색상 분포를 정하면 실내 조명에서의 피부 색상을 포함할 수 있으며, 이를 ‘일반 얼굴 색상 분포(GFCD, General Face Color Distribution)’라 정의한다. 여기서 인식률을 높이기 위해 실험에서 나온 분산 값보다 10% 정도 큰 값을 사용해 조명의 변화로 인한 차이를 극복할 수 있도록 하였다.

이상 설명한 색상 변환은 정규화된 색상 분포(r, g)를 그 색상 정보가 발생할 확률에 따라 밝기 값으로 변환해 주는 기능을 한다. 즉 GFCD에서 색상 분포를 정의할 경우 평균 값 근처에서는 높은 명암 값을 가지고 평균 값에서 조금만 멀어지면 급격하게 낮은 명암 값을 가지게 된다. 이를 수식으로 표현하면 <수식 2>와 같다.

<수식 2> 가우시안의 변환식

이와 같은 색상 변환은 관심 있는 어떠한 색상에 대해서도 그 모델만 결정되면 적용할 수 있다. <그림 3>은 얼굴, <그림 4>는 눈과 눈썹 영역에 대해 색상 변환한 그림을 나타낸 것이다. 각각 관심 영역으로 삼고 있는 얼굴 피부의 색상 영역과 눈, 눈썹의 영역이 잘 강조된 출력을 보이고 있다.

연결 성분 분석(라벨링)은 입력 영상을 스캔하면서 연결된 성분들을 찾아내 얼굴 추출에 사용하는 모듈이다. <그림 5>처럼 위에서 아래(A→C→E)로, 좌에서 우(A→B)로 스캔한다. 연결 성분을 분석하게 되면 각 덩어리마다 사이즈와 위치를 분석할 수 있게 되며, 이는 후보 영역 결정에 중요한 정보로 사용된다.

일반적으로 입력 영상에서 얼굴 이미지가 가장 크다는 것에 착안해 컬러 변환된 입력 영상에서 가장 큰 덩어리를 찾아내는 알고리즘은 <그림 5>, <리스트 1>과 같이 구성한다. 이렇게 라벨링을 통해 얼굴 영역을 찾아낸다.

얼굴 영역 내에서 얼굴의 특징점을 찾기 위한 다음 단계로 얼굴 성분, 즉 눈과 눈썹, 입과 코 후보 영역을 찾아야 한다. 먼저 얼굴이 아닌 배경이 되는 부분을 라벨링 알고리즘을 이용해 찾는다. 다음으로 눈과 눈썹을 찾기 위해 앞에서 설명한 눈과 눈썹 색상을 이용해 가우시안 변환한 이미지와 원본 입력 영상을 그레이 스케일한 이미지를 이용해 <그림 6>과 같은 연산을 한다. 그 결과 <그림 7>과 같은 영상을 얻게 된다.

<리스트 1> 입력 영상에서 큰 덩어리를 찾는 알고리즘

<그림 6> 가우시안 변환한 이미지 원본 입력 영상의 연산

이로써 우리는 눈과 눈썹 영역을 추출할 수 있었다. 다음으로 입술 영역은 앞서 추출한 눈과 눈썹 영역에 기반한 얼굴 성분 요소들의 지정학적 위치 관계를 이용해 입술 후보 영역을 추출한다.

이때 얼굴 성분 요소들의 지정학적 위치 관계란 사람 얼굴에서 눈, 눈썹, 코, 입술의 일반적인 길이 비율에 대한 위치 관계를 말한다.

조사된 바에 의하면 얼굴에서의 입 위치는 <그림 8>와 같은 얼굴 성분 요소들간의 관계에 따라 분포한다고 한다.

영역 내에서 정확한 입술 영역을 찾기 위해서 다시 GFCD를 이용해 변환한 영상을 이용한다. GFCD를 이용해 변환한 입술 후보 영역은 대체로 다음의 두 가지 색상 분포로 나뉠 수 있다. 즉 높은 명암 값을 가지게 되는 피부색 색상 영역과 피부색에 비해 낮은 명암 값을 가지는 입술 색상 영역의 두 가지로 나눌 수 있다. 따라서 입술 영역만의 히스토그램을 그리면 <그림 9>와 같고, 여기서 두 개의 최고점 사이에 임계점을 잡아서 이진화하여 명암 값이 작은 값을 가지는 영역만을 추출하면 입술 후보 영역에서 원하는 입술 영역만을 추출할 수 있다.

<그림 8> 얼굴 성분 요소들간의 관계

<그림 9> 입술 영역의 히스토그램

계속해서 GFCD를 이진화한 영상에서 <그림 8>과 같은 얼굴의 비례 정보를 이용해 코를 찾아낸다. 각각의 처리과정의 결과는 <그림 10>이다.

<그림 10> 입술 영역의 비례정보를 이용해 코 영역 추출

유사도 판단 모듈의 구현
재귀적 윤곽선 근사 알고리즘
◆ Algorithm InterestPoints()
n : 윤곽선 상의 모든 점의 총 개수
w : 윤곽선 상의 우세점들의 총 개수
P = {p1, p2, …, pn} : 윤곽선 상의 모든 점들의 집합
U = {pi1, pi2, …, piw} : 윤곽선 상의 우세점들의 집합
I = {i1, i2, …, iw} : 윤곽선 상의 우세점들을 가리키는 인덱스 집합
D(a, b) : 점 a와 b 사이의 유클리디언 거리
D(ab, c) : 선분 ab와 점 c 사이의 유클리디언 거리

Start
초기화, U = I =
① 객체의 무게 중심 P0를 찾는다.
② 최대 D(P0, Pi) (1≤ i≤ n)인 시작점 Ps=i을 찾는다.
③ Ps를 기준으로 윤곽선 상의 모든 점 Pi(1is-1, s ④ 최대 D(Ps, Pi) (s ⑤ s, e를 I에 삽입한다. 즉 I = I Y{s, e}
⑥ 시작점 위치(s)로부터 끝점 위치(e)와 시작점 위치(e)로부터 끝점 위치(n+1)에 대하여 Shape_contour 재귀 함수를 차례로 호출한다. 즉 Shape_contour(s, e), Shape_contour(e, n+1)
⑦ I 내의 인덱스들을 오름차순으로 정렬한 후 w개의 우세점들을 얻는다. 즉 U={pi1, pi2,, piw}
End

① 은 윤곽선 상의 모든 점을 이용해 객체의 무게 중심을 구한다.
② 는 객체의 무게 중심으로부터 최대 거리를 갖는 윤곽선 상의 시작점을 찾는다.
③ 은 시작점을 기준으로 윤곽선 상의 모든 점을 시계 방향으로 재정렬한다. 또한 폐곡선으로 간주하기 위해 윤곽선 상의 점들의 집합 중 (n+1)번째 시작점을 저장한다.
④ 는 시작점으로부터 최대 거리를 가진 윤곽선 상의 끝점을 찾는다.
⑤ 는 시작점과 끝점의 위치를 가리키는 각각의 인덱스를 인덱스 집합에 삽입한다.
⑥ 은 시작점과 끝점을 기준으로 윤곽선을 두 부분으로 나누고 중간점들을 찾기 위해 Shape_contour 함수를 차례로 호출한다. Shape_contour 함수의 ①에서 시작점과 끝점을 이은 선분으로부터 시작점과 끝점 사이에 있는 윤곽선 상의 점들에 대하여 최대 거리를 가진 중간점을 찾는다. Shape_contour 함수의 ②는 Shape_contour 함수의 ③에서 구한 최대 거리가 임계 값보다 크다면 중간점 위치를 인덱스 집합에 삽입하고, 시작점과 끝점 사이에 있는 점들은 중간점을 기준으로 두 부분으로 나누어 Shape_contour 재귀 함수를 차례로 호출한다. 만약 임계 값보다 작거나 같다면 Shape_contour 재귀 함수는 종료된다.
⑦ 은 중간점들을 찾는 Shape_contour 재귀 함수가 종료되면 윤곽선 상의 우세점들을 가리키는 인덱스 집합을 오름차순(시계 방향)으로 정렬한 후에 최종적으로 우세점들의 집합을 얻는다.

◆ Function Shape_contour(s, e)
S : 시작점 위치, e : 끝점 위치

Start
① 최대 D(PsPe, Pi) (s <i ② 만약 D(PsPe, Pm) > E라면 중간점 위치 m을 I에 삽입하고 시작점 위치(s)로부터 끝점 위치(m)와 시작점 위치(m)로부터 끝점 위치(e)에 대하여 Shape_contour 재귀 함수를 차례로 호출한다. 즉 I = I Y{m}, Shape_contour(s, m), Shape_ contour(m, e)
③ 만약 D(PsPe, Pm) ≤ E라면 재귀 함수는 종료한다.
End

임계값 E를 구하는 공식은 다음과 같다. δ는 임계 계수, L은 객체의 무게 중심과 시작점간의 거리이다. δ의 값에 따라 윤곽선 상의 우세점들의 개수가 달라진다. δ의 값이 매우 커짐에 따라 임계 값 E는 0에 가까워진다. 이 때 우세점들의 총 개수는 윤곽선 상의 점들의 총 개수와 동일하다. 이와 같이 임계 계수 δ는 객체의 모양을 결정짓는 중요한 요소이다.

E = L / δ

제안 알고리즘에서는 200여 개의 일반 이미지와 병원에서 사용하는 이미지(환자의 정면 사진)로부터 윤곽선의 모양을 뚜렷하게 찾아내기 위해 여러 형태의 임계값으로 테스트한 것 중에서 가장 좋은 결과를 나타낼 목적으로 임계값(δ)을 10으로 하였다. 재귀적 윤곽선 근사적 알고리즘을 실제 소스 코드로 구현한 것은 ‘이달의 디스켓’을 참조하기 바란다.

모양 특징 정보의 정규화
이번 프로젝트에서 제안한 재귀적 윤곽선 알고리즘을 적용하여 추출한 우세점들은 절대 좌표에 표현된다. 따라서 객체의 크기 변화와 회전으로 인해 값이 달라질 수 있으므로 항상 일정한 값을 갖지는 않는다. 그러므로 객체의 모양 특징이 항상 일정하도록 하기 위해 w개의 우세점들의 집합 U={pi1, pi2, …, piw}을 이용하여 정규화를 적용해야 한다.

<그림 11> 재귀적 윤곽선 근사적 알고리즘

<그림 12> 극좌표의 정의 예

먼저 이미지 객체의 무게 중심 P0을 원점으로 한 극좌표를 <그림 12>과 같이 정의한다. 이 그림에서 무게 중심 P0, 시작점 Pi1, 우세점 Pik (1≤k≤w 를 제각기 (x0, y0), (x1, y1), (xi, yi)이라고 하자.

A를 무게 중심 P0와 시작점 Pi1간의 벡터라고 한다면 A = < x1-x0, y1-y0> B = 이다. A를 무게 중심 P0와 임의의 우세점 Pik간의 벡터라고 한다면 B = = 이다. A는 A의 크기이며 B는 B의 크기이다. <수식 3>과 같이 우세점들에 대해 정규화를 적용하여 객체의 모양 특징인 거리 r, 각도 θ를 얻는다.

<수식 3> 우세점들의 정규화 식

객체의 모양 질의를 위한 유사성 검색
A = {a1, a2, …, aw}를 질의 객체의 모양 특징 집합, B = {b1, b2, …, bw}를 데이터베이스에 저장된 객체의 모양 특징 집합이라고 하자. W는 질의 객체 A의 모양 특징 개수, w는 이미지 객체 B의 모양 특징 개수이다.

질의 객체 A와 이미지 객체 B의 각 특징간의 유사도 값이 모양 특징의 지역 가중치 δ 내에 존재하는 총 개수(k)가 A의 모양 특징 개수 w의 70% 이상이라면 B를 유사 후보로 지정하고 유사도 함수 d(A, B)를 적용한다. 객체간의 유사성 비교를 위해 유사도 함수 d(A, B)를 <수식 4>와 같이 정의하였다.

<수식 4> 유사도 함수 d(A,B)

λ는 모양의 전역 가중치로서 같은 모양의 유사도 비교시 k=w이므로 λ=1이 되며 k=wφ일 경우 λ=1.3이 된다. 즉 λ는 1≤λ≤3의 범위 내에 존재한다. 여기서는 질의 객체와 이미지 데이터베이스에 저장된 객체간의 유사성 비교를 위해 각 객체의 모양 특징을 이용한 유사성 검색 알고리즘을 설명한다.

◆ Algorithm Shape Similarity(A, B)
/* A={a1, a2, …, an} : 질의 객체의 모양 특징 집합
B={b1, b2, …, bn} : 데이터베이스에 저장된 객체의 모양 특징 집합
w : A의 모양 특징 개수
w` : B의 모양 특징 개수
dij : A와 B의 모든 특징의 차
min(di1, di2, …, dij) : i번째 행을 기준으로 j번째 열에서 가장 최소인 값
K={1, 2, …, i} : 참조된 i의 집합
L={1, 2, …, j} : 참조된 j의 집합
d(A, B) : A와 B의 유사도 거리
δ : 모양 특징의 지역 가중치
φ : 유사도 계수(0.5)
λ : 모양의 전역 가중치 */

Start
초기화, K=L=0
① 집합 A, B의 모든 특징들에 대하여 d를 계산한다. 즉 dij =Feature_distanc(ai, bj), (1≤i≤w, 1≤j≤w)
② 만약 w > w라면 집합 B의 모든 모양 특징(1≤j≤w`)을 기준으로 할당되지 않은 i번째 행의 최소값 dj를 구한다. 이 때 만약 (i쬼K, j쬼L)이라면, dj를 할당하고, i와 j를 각각 집합 K, L에 삽입한다. 즉 dj=min(d1j, d2j, …, dij), K=K˘{i}, L=L˘{j}
③ 만약 w, w이라면 집합 A의 모든 모양 특징(1≤i≤w`)을 기준으로 할당되지 않은 j번째 행의 최소값 di를 구한다. 이 때 만약(i쬼K, j쬼L)이라면, di를 할당하고, i와 j를 각각 집합 K, L에 삽입한다. 즉 di = min(di1, di2, …, dij), K=K˘{i}, L=L˘{j}
④ 만약 집합 K, L내 원소들이 시계 방향 또는 반시계 방향으로 정렬되어 있지 않으면 알고리즘을 종료한다.
⑤ 만약 원소(∀i1, i2, …, iw)들의 방향(di≤δ)의 개수(k) w*이라면, A와 B간의 유사도 거리 d(A,B)를 계산한다. 즉 무계중심으로부터 각 특징점이 되는 원소(원소는 얼굴의 각 특징점을 말함)들의 방향 개수에 따라 무계중심이 되는 A와 특징점 B간의 거리를 계산하게 된다.
⑥ 반사된 모양을 기준으로 유사성 검색을 처음부터 진행
End

Algorithm Shape Similarity(A, B)에서 ①은 두 개의 객체의 모양 A, B에 대하여 모든 특징들의 거리를 계산한다. ②는 A의 모양 특징 개수가 B의 모양 특징 개수보다 크다면 행렬 dij의 j열을 기준으로 할당되지 않은 I번째 행의 최소 값을 구한다. 즉 I, j는 각각 집합 K, L내에 존재하지 않아야 한다. 그리고 I, j를 각각 집합 K, L에 삽입한다. ③은 A의 모양 특징 개수가 B의 모양 특징 개수보다 작거나 같다면 행렬 dij의 i행을 기준으로 할당되지 않은 j번째의 열의 최소 값을 구한다. i, j를 각각 집합 K, L에 삽입한다.

④는 각 객체가 시작점을 기준으로 시계 방향으로 정렬되어 있거나 반 시계 방향으로 정렬(거울 반사된 모양)되어 있다면 ⑤를 수행한다. 그렇지 않다면 알고리즘을 종료한다. ⑤는 모든 di()에 대하여 지역 가중치()보다 작거나 같은 di의 개수를 구한다. 이때 가중치 내에 존재하는 개수 k가 A의 모양 특징 개수 w의 70% 이상이라면 B를 유사 후보로 지정하고 유사도함수 d(A,B)를 적용한다. 그렇지 않다면, 두 객체가 유사하지 않다고 판정하고 알고리즘을 종료한다. ⑥은 객체의 유사성 검색에서 false drop을 줄이기 위한 단계이며 경유 반사된 모양을 기준으로 유사성 검색을 처음부터 진행한다.

<리스트 2> 각 특정점 간의 거리r, 각도θ얻기 위한 구현

각 단계에 대해 설명만으로는 이해가 어려울 것으로 생각되는데, 소스 부분을 참고하면 도움이 될 것이다. 전체적으로 이해하기 위해선 <화면 1>의 테스트 모듈 구현 화면을 보면 한 눈에 알 수 있다. 예로 들어 입술의 경우 무게중심으로부터 주위의 ‘+’로 표시된 특징점들을 시계 방향으로 거리와 각도를 측정하는 모듈이라 생각하면 이해가 될 것이다. 무게중심으로 각 특징점간의 거리와 각도를 측정한 값을 토대로 입술이 크다, 길다, 등의 판단을 할 수 있다.

◆ Function Feature_Distance(feature fi, feature fj)
/* fi : 질의 객체의 모양 특징
fj : 데이터베이스에 저장된 객체의 모양 특징
α : 가중치(0≤α≤1) */

Start
① 두 특징간의 거리의 차를 구한다. 즉 dr = |r(fi) - r(fj)|
② 두 특징간의 각도의 차를 구한다. 즉 dθ = |θ(fi) - θ(fj)|
③ 두 특징간의 유사도 거리를 구한다. 즉 dij = dr + (1-)dθ
End

이 유사 값을 구하기 위한 실제 구현은 소스의 분량이 많은 관계로 ‘이달의 디스켓’을 참조하기 바란다. 테스트 모듈의 구현 화면은 <화면 1>과 같다.

<화면 1> 테스트 모듈의 구현 화면

서비스 시스템 구현은 다음 호에서
이번 호에서는 획득한 얼굴 영역을 토대로 얼굴의 눈과 눈썹을 찾아내고, 이를 기반으로 얼굴 비례 정보를 이용해 입술, 코 등 우리가 필요한 각 영역 부위를 추출할 수 있었다. 그리고 재귀적 윤곽선 근사 알고리즘으로 유사도 판단을 통해 얼굴의 각 부위별 거리, 각도 등의 수치를 얻을 수 있다.

이렇게 얻어진 수치를 DB에 있는 수치와 비교해 관련된 관상 정보를 가져오게 된다. 이번 호에서 다룬 얼굴의 부위별 추출이나 유사도 판단은 프로젝트의 핵심 부분이니 CD에 있는 소스 부분을 참고하면 이해하는 데 수월할 것이라고 본다.

지금까지 웹 카메라로부터 들어온 영상에 대해 전 처리 과정을 거쳐 얼굴 영역의 각 부위별 추출과 유사도 판단을 통해 관상 정보에 필요한 거리, 각도에 대한 정보를 획득하는 방법을 알아보았다. 다음에는 이를 토대로 액티브X 컨트롤을 제작하고 실제로 웹 페이지에서 구현하는 과정을 살펴 본다. 관상 데이터베이스의 구축, 웹 페이지에서 카메라를 연결하고 화면 캡처를 통해 서비스를 제공하는 전체적인 시스템을 구현해 본다. @

* 이 기사는 ZDNet Korea의 자매지인 마이크로소프트웨어에 게재된 내용입니다.