PTZ 카메라를 이용한 실시간 얼굴 영상 획득

PTZ 카메라를 이용한 실시간 얼굴 영상 획득 진성원

목차 1. 서론 2. 관련 연구 3. 전체 시스템 구조 4. 얼굴 추출 • 움직임 감지 • 얼굴 후보 영역 추출 • 얼굴 분석 5. 얼굴 캡쳐 • 환경설정 • PTZ 카메라 특징 분석 • 얼굴 수에 따른 PTZ 파라메타 결정 6. 실험 결과 7. 결론 및 향후 방향 제시

서론 • 기존의 CCD 카메라 시스템 • 모든 기록은 동영상으로 저장 • 저장공간의 한계 (최근 움직임이 감지될 때만 저장) • 특정용의자 검색을 위한 시간낭비 • 얼굴 식별 어려움 • 불필요한 장면까지 저장 • 제안한 방법 • 방문자들을 한 대의 PTZ 카메라를 이용하여 한 번에 최대한 많은 사람을 캡쳐 • 얼굴 캡쳐를 위해서 기존의 얼굴 추출 방법을 씀

관련 연구 대표적인 PTZ 카메라를 이용한 연구

전체 시스템 구조

얼굴추출 • 얼굴 추출을 위한 세 단계 움직임 감지 얼굴 후보 영역 추출 얼굴분석

움직임 감지 • 블록기반 프로세싱 • 여러 픽셀을 한 블록으로 설정 • 연산량 감소 • 노이즈 민감하지 않음 움직임 감지 이전 프레임과 현재 프레임의 차연산

얼굴 후보 영역 추출 움직임 영역 추출 모폴로지 피부색 추출 레이블링 움직임 영역 추출 레이블링 피부색 추출

Height Width A2 A1 얼굴분석(1) • 얼굴 비율 분석 • 가로(Width), 세로(Height)비율 • 외곽 인접사각형의 넓이(A1)과 얼굴타원의 넓이(A2) 의 비를 이용

얼굴분석(2) • 특징점 분석(가로 경계성) • 얼굴 비율은 맞지만 얼굴이 아닌 후보 영역을 걸러냄 • 눈, 코, 입에 가로 에지 성분이 많이 있음 레이블링 특징점 분석 결과 화면

얼굴 캡쳐 • 환경 설정 • 움직임이 일정한 (Smoothing Motion) 환경 • 방문객이 빈번하게 왕래하는 장소를 관심영역으로 설정

PTZ 카메라 특징 분석(1) • PTZ 카메라 팬, 틸트 특징 분석 Pan : -180~+180 Tilt : -90~+90

PTZ 카메라 특징 분석(2) • PTZ 카메라 줌 특징 분석 Zoom : 0~9999

PTZ 카메라 특징 분석(3)

PTZ 카메라 특징 분석 결과 • 카메라의 반응속도 때문에 실시간으로 추적하지 못함 • 이동 방향을 예측하여 미리 이동하여 찍는 방법 필요 • 줌 시간은 팬, 틸트 시간에 비해 상대적으로 매우 큼 • 최대한 줌 시간을 줄이는 방법 필요 • 한번에 최대한 많은 사람을 캡쳐

얼굴이 1 개일 경우 • 팬, 틸트 값 결정

Continue… • 줌 값 결정 팬, 틸트 만으로 캡쳐 줌 필요 1 frame n frame 줌 안 했을 때의 예상얼굴크기 X O n+t frame - 첫 프레임과 n번째 프레임간의 얼굴 크기 변화율 이용 - 적당한 크기의 얼굴이 되는 최소 줌 값을 결정

Continue… • 팬, 틸트 값의 오차 극복 위해 margin을 고려해 적당한 줌 크기를 결정하여 문제 해결

A B A’ B’ A’’ B’’ 얼굴이 2 개일 경우 • 두 명에 대해 각각 최소 줌 값 결정 • 두 얼굴이 모두 일정 크기 이상 되고, 두 얼굴이 한 화면 내에 들어올 수 있는지 여부 결정 • 두 명중 줌 값이 큰 것을 줌 파라메타로 결정 • 두 얼굴 크기와 얼굴간의 거리정보를 이용하여 팬, 틸트값 결정 • 두 명 모두 영상 내에 들어 올 수 없을 때, 한 명만 캡쳐(예2) • 줌 값이 작은 얼굴에 대한 팬, 틸트값 결정 • 두 명 모두 영상 내에 들어 올 때, 두 명 동시 캡쳐(예1) 예2 예1 ZB ZB ZA ZA ZB ZA ZA

얼굴이 3개 일 때 • 세 명(A,B,C) 각각의 팬, 틸트, 줌 값 결정 • 두 명일 때와 마찬가지로 세 명일 경우(ABC), 두 명일 경우(AB, AC, BC) 의 순서로 캡쳐 가능 여부 판단 • 두 명 이상 캡쳐가 안 될 경우 줌 값이 작은 한 명에 대해서만 캡쳐

얼굴이 4개 이상일 때 • 움직임 방향을 예측하지 않음 • 전체를 한 그룹으로 보고 4명 이상을 모두 캡쳐 • 얼굴 4개가 모두 들어올 수 있는 최소 Bounding Box를 기반으로 줌 값 설정. • 팬, 틸트 값은 초기상태 값을 이용

실험 결과 및 토의 • 실험 환경 - 출입구로부터 5m 떨어진 거리, 2.3m 높이의 위치에 PTZ 카메라 설치(1초당 30 프레임) - 무작위로 들어오는 방문자들을 대상 - 속도 예측 프레임 수 = 8 프레임 ( 1.305m/s의 평균속도 – 0.35m 이동) - 조명이 일정한 환경에서 실험

실험결과 (1) • 얼굴 추출 성능 평가 • 얼굴이 겹치지 않고, 조명이 일정할 때 60%의 정확도 • 얼굴 캡쳐 성능 평가 • 얼굴이 정확하게 추출될 때의 경우만 선택

실험결과(2) • 한 명일 경우 배경 프레임 예1 예2 캡쳐 전 캡쳐 결과

실험결과(3) • 두 명일 경우 배경 프레임 예1 예2 캡쳐 전 캡쳐 결과

실험결과(4) • 세 명일 경우 배경 프레임 예1 예2 캡쳐 전 캡쳐 결과

실험결과(5) • 네 명 이상일 경우 배경 프레임 예 캡쳐 전 캡쳐 결과

결론 및 향후 방향 제시 • 얼굴만을 캡쳐하는 시스템 - 저장용량의 절약, 특정방문자 색출시간 단축, 얼굴 식별 등의 장점 • 한 대의 카메라를 사용하여 최대한 많은 인원을 캡쳐하는 것이 목적 • 한 번에 한 명씩 캡쳐를 위해선 PTZ 카메라의 반응속도의 개선필요 • 보다 정확한 실시간 얼굴추출 알고리즘 개발 필요 • 향후 매칭을 통한 특정 방문자 인식 응용

PTZ 카메라를 이용한 실시간 얼굴 영상 획득

PTZ 카메라를 이용한 실시간 얼굴 영상 획득

Presentation Transcript