Citation

Chen, Ke-Yu, Shwetak N. Patel, and Sean Keller. "Finexus: Tracking precise motions of multiple fingertips using magnetic sensing." Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. ACM, 2016.

Video

https://www.youtube.com/watch?v=xeH9RohC4w0

Motivation

AR/VR 에서 자연스러운 손의 움직임을 입력으로 쓰고 싶다. 기존에 제시된 방법들은 다음과 같은 문제가 있다.

• Vision Base 는 Occlusion 문제가 있다.
• IMU를 사용하는 경우 Drift 문제가 있을 수 있고 이로 인해서 잦은 calibration이 필요 할 수 있다.
• Strain gauge를 사용하는 경우 손을 움직일 때 센서의 위치가 변할 수 있고 이것이 정확도에 영향을 미칠 수 있다.

이 연구에서는 자기상 센싱을 사용하는 Finexus를 제시 한다. 크게 아래 4가지의 contribution을 주장 한다.

1. 4개의 자기장 센서로 손가락을 트래킹하는 방법을 제시 한다.
2. Custom Hardware를 만들었다.
3. 시스템의 성능을 평가하였다.
4. 실시간 손가락 트래킹 기술을 이용한 다양한 어플리케이션을 디자인 하고 구현 했다.

The Finexus System

<aside> 🤔 논문에서 이 부분을 보면 여러 섹션이 있고 수식도 많다. 하지만 개인적으로 지나치게 긴 설명이라고 생각한다. 긴 설명들이 디테일에 대한 설명을 위한 것 처럼 보이기는 하지만 사실상 개념설명에 가깝다는 것이 내 생각이다. 이 문서에서는 큰 그림에 대해서 간략하게 설명 한다.

</aside>

손가락에 전자석을 붙히고 센서로 전자석들의 위치를 트래킹 해서 여러 손가락의 위치를 트래킹 한다. 전자석으로 자기장 센서로 트래킹을 하는데, 자기장 센서가 하나만 있으면 전자석의 위치를 정확하게 알 수 없다. 왜냐하면 전자석의 측정하는 자기장 (3 DoF)는 전자석의 위치와 자세로 (6DoF) 결정 되기 때문이다.

전자석의 세기 (1DoF) 는 센서로부터의 거리와 방향 (2DoF) 으로 결정 된다. 때문에 하나의 센서가 아니라 4개의 센서를 사용해서 하나의 전자석의 정확한 위치를 알아낸다.