Matulic, Fabrice, et al. "PenSight: Enhanced Interaction with a Pen-Top Camera." Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. 2020.
https://www.youtube.com/watch?v=mn_u1RXyWMY
이 연구는 펜 인터랙션을 발전 시키고자 한다. 좀 더 정확히는 펜 인터랙션의 언어 (vocabulary)를 확장 하고자 한다. 실제로 상용 디지털 펜이 실제 펜 처럼 그리기 만을 위해서 동작 하는 것이 아니라 다른 기능들을 지원 한다. 애플 펜슬의 경우 탭을 통해서 펜에 연결된 툴을 바꾸기도 하고 마이크로소프트 펜의 경우 펜 뒤에 버튼이 있어서 메뉴를 불러 오거나 지우개로 쓸 수 있다.
특히나 펜은 타블렛과 많이 사용 되는데, 이 연구는 타블렛과 펜을 같이 사용 할 때 사용 가능한 인터랙션들을 디자인 했다. 기존의 연구들은 주로 펜을 사용하지 않는 손을 사용 하거나, 펜을 잡은 손의 자세를 사용하는 인터랙션들을 제시 했다. 앞선 연구들이 한정된 요소들로 인터랙션을 디자인 한 것은 그들의 시스템의 센싱 한계 때문이다.
카메라를 사용하면 더 다양한 요소들을 센싱 할 수 있는데, 예를 들어 in-air posture, 펜 혹은 타블렛 주변에서의 손 움직임 등이 있다. 하지만 펜과 타블렛을 사용하는 상황에서 카메라를 장착 하는 것은 어려운 문제이다. 왜냐면, 천장과 같이 고정된 주변 공간에 장착 하면 모바일 상황에서 사용하기 적절하지 않고, 모바일 디바이스에 부착 한다면 광각 카메라를 사용하도 시야가 제한 되기 때문이다.
때문에 이 연구는 펜에 광각 (fisheye) 카메라를 부착하였다. 이로 인해서 기존에는 없었던 새로운 관점의 이미지들을 얻을 수 있는데 저자들은 이 이미지들을 사용하여 가능한 인터랙션 공간을 탐구 하였다. 이 논문에서 제시할 인터랙션 요소들은 다음과 같다.
이 연구의 contribution은 세 가지로 정리 할 수 있다.