증강 객체 조작을 위한 양손 자세 추적 및 제스처 인식 기술

Abstract

손 추적 및 제스처 인식 기술은 다양한 HCI 시나리오에서 유용한 기술로 채택되어 왔다. 특히 증강현실 환경에서 3 차원 가상객체를 양손을 이용해 자연스럽게 조작하기 위해서는, 양손의 자세와 제스처를 빠르고 정확하게 인식할 수 있어야 한다. 본 논문은 IMU 센서와 뎁스 카메라를 이용하여 양 손의 3 차원 위치 및 회전 정도를 추적하고, 각각의 손에서 발생한 제스처를 인식하여 가상 객체를 자연스럽게 조작하는 방법을 제안한다. 이 방법은 손의 회전 과 손 간의 교차로 인한 자가가림 현상에도 대응할 수 있다. 본 논문에서는 입력된 일련의 뎁스 이미지를 이용하여 각각의 손 영역을 감지 및 추적하고, 각각의 손에 부착된 IMU 센서값과 결합하여 6 자유도의 위치, 회전 값을 알아낸다. 그리고 영상의 깊이 정보를 입력으로하는 제스처 분류기를 통해 제스처 인식을 수행한다. 이를 통해 객체를 쥔 상태와 놓은 상태를 감지할 수 있다. 마지막으로 본 논문에서는 제안하는 방법이 가상의 부품 조립이나 의료 상황에서의 수술 교육, 손을 이용한 인터렉션 게임 등과 같은 유용한 HCI 시나리오에 적용 가능함을 보여준다.