Citation

Nandakumar, Rajalakshmi, et al. "Fingerio: Using active sonar for fine-grained finger tracking." Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. ACM, 2016.

Video

https://www.youtube.com/watch?v=PpVUCEZvNjI

Motivation

이 연구는 새로운 around device intraction을 개발하는 목적을 가지고 있다. 이를 위해 다음과 같은 질문으로 시작 한다.

Can we track a user's finger around the device and can we do this even when they are occluded from each other?

앞선 연구에서 여러 방법들이 제시 되었지만 대부분 손가락에 무언가를 착용 하거나 카메라/적외선 센서등을 이용 했다. 이러한 방법들은 일상 생활에 방해가 되거나 가려질 경우 사용 할 수가 없다. 이러한 문제를 해결하기 위해서 FingerIO는 음파를 사용한다.

Concept

기본적인 컨셉은 다음과 같다. 스피커에서 비가청 주파수 (18~20kHz) 신호를 출력한다. 그러면 주위의 물체에 따라서 잔향 (echo)가 생기게 되고 이 잔향 신호를 마이크로 센싱을 한다. 잔향 신호에서 잔향이 발생한 거리를 파악하고 이 정보를 이용해서 기기 주변의 손가락을 추적한다. 하지만 실제로 손가락에서 반사되는 잔향 신호를 정확하게 파악하는 것은 어렵다. 그 이유로는 크게 세 가지가 있다.

• 입력받는 신호에서 잔향의 시작점을 파악 하는 것이 어렵다. 만약 3~4 샘플만 어긋나도 2.1~2.8cm의 에러로 이어진다.
• 일반적으로 스피커와 마이크는 비동기적으로 동작한다. 다른 말로 하면 마이크와 스피커가 동시에 샘플링을 하지 않는다. 때문에 잔향 신호를 측정 할 때 offset이 생기기 쉽다.
• 잔향 신호는 주변 환경에 의해 noisy 할 수 있다.

이러한 문제를 해결 하기 위해서 이 연구에서는 Orthogonal Frequency Division Multiplexing (OFDM) 을 활용한다.

Contributions

본 연구의 contribution은 다음과 같다.

1. 손가락에 추가 장비를 착용하지 않고, 가려져 있어도 세밀하게 손가락을 트래킹 할 수 있는 방법을 제시 한다.
2. 손가락 트래킹을 위한 Active Sonar System을 개발 했다. 이를 위해서 OFDM을 사용 했다.
3. Off-the-Shelf 디바이스로 FingerIO를 구현 하였다.