Arimatsu, Kazuyuki, and Hideki Mori. "Evaluation of Machine Learning Techniques for Hand Pose Estimation on Handheld Device with Proximity Sensor." Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. 2020.
https://www.youtube.com/watch?v=WG6Kzt14sak
VR에서 가상 공간과 자연스럽게 인터랙션을 하기 위해서 손 트래킹은 필수적이다. Facebook의 Oculus Touch와 같은 컨트롤러들은 자연스러운 손의 움직임을 VR에서 어느 정도는 구현 하였다. 하지만 이들 컨트롤러들은 모든 손가락들을 트래킹 하지 못한다. 때문에 손의 세밀한 움직임 등을 그대로 VR 환경에 구현 하지 못한다.
최근에는 5개의 손가락을 모두 트래킹 하는 컨트롤러들이 등장 하고 있다. 대표적으로는 Steam에서 만든 Valve Index Controller가 있다. 하지만 이러한 제품들은 추정하는 손의 포즈의 한계가 있다고 한다.
https://www.youtube.com/watch?v=cjXSXmHZP3Q
AR 도메인에서는 맨손을 사용하기 때문에 맨손의 움직임을 센싱하는 기술들이 많이 개발 되어 왔다. 하지만 VR 어플리케이션에서는 버튼과 트리거 등이 필요 하기 때문에 여전히 컨트롤러가 필요하다. 실제로 많은 게임들이 VR 컨트롤러를 필요로 하고 개발자들도 컨트롤러를 요구 한다고 한다. 때문에 컴퓨터 비전 (CV) 분야에서 많이 발전 하고 있는 Hand Pose Estimation 기술을 사용하기에는 어려움이 있다. 컨트롤러를 잡고 있기 때문에 보이지 가려지는 부분이 생기게 되고 이러한 부분들의 손 모양을 정확하게 예측 하는 것은 어렵기 때문이다. 많은 컴퓨터 비전 모델들이 가려지 문제를 해결 하려고 ㅎ자미나 가려진 부분의 에러는 아직까지 인터랙션에 사용하기에는 상당히 큰 것이 사실이다 (10~20mm).
또 다른 가능한 방법으로는 장갑 형태의 센서를 사용하는 방법이 있다. 하지만 장갑은 사용자 손에 딱 맞지 않으면 센싱에 문제가 생길 수 있다. 장갑이 아니라 센서를 손가락에 붙히는 방법들은 센서를 착용하는 과정이 사용자에게 부담이 된다.
때문에 이 연구에서는 capacitive proximity sensor를 컨트롤러에 부착하고 이를 통해서 얻은 capacitive image를 CNN 을 통해서 손의 모양을 추정한다. 이 논문은 4개의 contribution을 주장 한다.
저자들은 사용자가 편한 자세로 컨트롤러를 잡고 손가락을 움직일 수 있도록 디자인 했다. 컨트롤러의 윗 부분은 평평하게 디자인을 했는데, 이는 추가 입력을 위한 공간으로 남겨 두었다. 모든 파트는 3D 프린팅 했으며 박스 부분에 회로가 있다고 한다.