Developing technologies to provide haptic feedback for surface based interaction in mobile devices

Abstract

Tämän väitöskirjan tavoitteena oli ymmärtää mobiililaitteiden ja älykkäiden pintojen vuorovaikutuksen aikana toimivat haptiset signaalit ja ratkaista nämä haasteet parantamalla aktuointimenetelmiä ja haptisen signaalin välittämistä. Vuorovaikutus kosketusnäytöllä, kuten missä tahansa viestintämuossa, tarvitsee palautetta käyttäjälle. Tähän asti useimmat haptiset järjestelmät ovat keskittyneet vain signaalin tuottamiseen ja käyttöön, jättäen huomiotta avainkysymykset, kuten signaalinsiirron, ja muodostetun signaalin eheyden kosketuskohdassa. Tässä työssä keskityin ymmärtämään nykyisen lähestymistavan mahdollisia rajoitteita tehokkaiden haptisten ympäristöjen kehittämiselle mobiililaitteisiin. Tutkimalla signaalin lähetystä ja välittämistä lähteestä kosketuskohtaan selvitin mahdollisen signaalin vaimenemisen määrän nykyisissä mobiileissa kosketusnäytössä. Analysoimalla näiden tutkimusten tuloksia pystyin löytämään ratkaisuja haptisten signaalien heikentymisen rajoittamiseksi ja kehitin konseptien toimivuuden todistavia järjestelmiä oletusteni validoimiseksi. Tällä hetkellä useimmat perinteiset järjestelmät käyttävät haptista palautetta toissijaisena palautteena auditiivisten ja visuaalisten modaliteettien tukena. Kuitenkin nykyisten vuorovaikutusjärjestelmien pienellä uudelleensuunnittelulla haptiikan roolia kommunikaatiossa voidaan suuresti laajentaa. Yksi menetelmä tämän saavuttamiseksi on tuottaa kinesteettinen palaute värinäpalautteen rinnalla mobiileissa kädessä pidettävissä laitteissa. Tämä väitöskirja havainnollistaa, miten on mahdollista tuottaa kinesteettinen aistimus ilman monimutkaista suuritehoista aktuaattoria. Tämä tuottaa paitsi toiminnon vahvistavan palautteen myös kyvyn täydentää virtuaaliobjektin käsittelyä reaaliaikaisesti, ilman laitteen kiinnittämistä ympäristöönsä, avaamalla laajan joukon vuorovaikutusskenaarioita ja vaihtoehtoisia toteutustapoja.

The goal of this thesis was to understand the issues in providing vibrotactile signals during interaction with mobile devices and smart surfaces, and to resolve these challenges by improving methods of actuation and mediation. Interaction using touch, as with any form of communication, requires end to end verification. Until now, most haptic communication systems only focused on signal generation and actuation, ignoring key issues, such as signal transmission, and the integrity of the generated signal at the point of contact. In this thesis I focused on understanding the possible limitations of the current approach in developing effective vibrotactile environments for mobile devices. By conducting research in signal transmission and mediation from the source to the point(s) of contact, I determined the possible degree of attenuation of the intended signal in current mobile touchscreen devices. By analyzing the results of these studies, I was able to find possible solutions for limiting the degradation of haptic signals and developed proof of concept systems validating my assumptions. Currently, most traditional systems use haptic feedback as a secondary support mechanism to auditory and visual modalities. However, it can be argued that with minor redesigning of current interaction systems, the role of haptics can be greatly enhanced to unlock the true potential of haptic communication. One of the methods of achieving this is to provide a kinesthetic component to the haptic feedback alongside the vibrotactile signals currently observed in today’s mobile and hand held devices. This thesis illustrates how it may be possible to generate kinesthetic afferentation without the need for cumbersome high-powered manipulators, generating not only confirmation feedback but the ability to supplement virtual object manipulation in real-time, linkage free, opening up a wide range of interaction scenarios and implementation techniques.