Yu, Chun, et al. "HandSee: Enabling Full Hand Interaction on Smartphone with Front Camera-based Stereo Vision." Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. ACM, 2019.
https://www.youtube.com/watch?v=K1qcMdFkqP4
현재의 터치스크린, 그리고 그 위에서의 인터랙션의 한계를 넘기 위한 연구들은 많이 진행이 되어 왔다. 하지만 대부분의 연구들은 인터랙션 디자인에 초점을 맞추고 있다. 이 연구는 스마트폰과 프리즘 거울을 사용하여 손가락을 트래킹 하고 스마트폰을 쥐는 포즈를 인식하는 방법을 제시한다. 저자들은 프로토타입을 만들고, 이를 이용해서 현재의 터치 인터랙션에서는 할 수 없는 인터랙션을들을 제시 및 구현 한다. 또한 이전 연구들에서 제시 되었던 인터랙션들을 저자들이 만든 프로토타입을 이용해 구현한다.
크게 3가지의 Contribution을 주장 한다.
기술적 컨셉은 다음과 같다. 스마트폰의 전면 카메라에 프리즘을 부착한다. 그러면 카메라가 스마트폰 스크린의 수직 방향으로 바라보고 있지만 프리즘 덕분에 터치스크린 근처에 있는 손의 이미지를 얻을 수 있다.
이 연구에서는 스마트폰을 쥐는 제스처를 센싱하는 목적을 가지고 있다. 때문에 스마트폰 아래를 잡았을 때 손 전체의 이미지가 나올 수 있도록 Field of View (FOV)를 정하였다. 스마트폰을 잡았을 때 터치 스크린 위로 10cm 까지 카메라가 볼 수 있도록 프리즘 스펙을 정하였다.
프리즘을 사용하면 단순이 FOV를 넓힐 뿐만 아니라 스테레오 이미지를 얻을 수 있다. 그리고 이 스테레오 이미지에서 깊이 정보를 추출해서 손가락을 트래킹 한다. 아래 그림처럼 프리즘 거울에 반사 되어 카메라로 들어오는 빛도 있지만 스마트폰 스크린에 반사 되어서 카메라로 들어오는 빛도 있다. 이렇게 두 가지의 광경로가 존재 하기 때문에 두 개의 가상 카메라를 만들 수 있다.
전체 파이프라인은 아래와 같다. 각 과정에 대해서 설명 하도록 하겠다.
