Multi-Modal Data Recording System: implementation and documentation

Abstract

With the growth in computing power and sensor capability, new possibilities are opened for human activity recognition, for which multiple applications have been proposed. Most notably, security and health care applications, such as shoplifting and vandalism detection, fall detection, and respiratory rate sensing. Some commercial applications are already available, such as the health and fitness applications found in smart phones and watches, that automatically detect certain types of exercise.

Typically, wearable sensors are used for human activity recognition. Using gyroscopes and accelerometers, key positions in the human body can be accurately tracked, which can be used for very high-performance activity recognition, given the number of sensors is sufficient. Wearable sensors have an inherent drawback, though. They can be cumbersome and unfashionable, and they require willful equipping. They also must be battery-powered to enable free movement, which makes them less reliable than a mains-powered solution.

In the context of human activity recognition, visible spectrum imaging (RGB camera) has traditionally been the most popular choice for remote sensing. Unfortunately, the RGB camera is very susceptible to obstructions and varying lightning conditions, which limits its usefulness. The RGB camera is also inherently privacy-invasive. Clearly, there is a demand for other means of remote sensing. The majority of available data sets for human activity recognition considers only wearable sensors and visible-spectrum imaging. To advance the state of human activity recognition via remote sensing, new data sets are required that consider more remote sensors.

In this thesis, a portable multi-modal data recording system was developed. The system encompasses an RGB camera, a stereo-vision based depth camera, a low-resolution infrared camera, a microphone, and a millimeter-wave radar. This thesis documents the used sensors, the architecture of the software, and the data output formats of the software. The developed system remained slightly unstable, but still suitable for a small-scale data collection campaign. The instability was likely due to the used radar device or some programming error. If the instability can be fixed, the system will be capable of carrying out even larger-scale data collection campaigns.

Tietokoneiden laskentatehon ja sensorien kyvykkyyden kasvu avaa uusia mahdollisuuksia aktiviteetin tunnistukselle, jolle onkin jo esitetty useita mahdollisia sovelluksia. Merkittävimpiä sovelluksia ovat muun muassa turvallisuus- ja terveyssovellukset, kuten myymälävarkauksien ja ilkivallan tunnistaminen, kaatumisen tunnistaminen, sekä hengitystiheyden havainnointi. Joitain kaupallisia sovelluksia on jo saatavilla, kuten älykelloista ja -puhelimista löytyvät terveyssovellukset, jotka osaavat tunnistaa joitain liikuntamuotoja.

Tyypillisesti aktiviteetintunnistukseen käytetään puettavia sensoreita. Gyroskoopeilla ja kiihtyvyysantureilla saadaankin seurattua avainkohtien liikkeitä hyvin tarkasti, mikä mahdollistaa suo rityskykyisen aktiviteetintunnistuksen, kunhan sensoreita on riittävästi. Puettavien sensoreiden varjopuolena kuitenkin on, että ne saattavat olla epämukavia ja epämuodikkaita. Lisäksi ne vaa tivat suostumuksellista pukemista, mikä saattaa rajoittaa käyttökohteita. Puettavien sensoreiden olisi myöskin syytä olla akkukäyttöisiä, mikä tekee niistä epäluotettavia verrattuna verkkovirtaan kytkettäviin sensoreihin.

Aktiviteetin tunnistuksessa näkyvän spektrin valon kuvaaminen (RGB kamera) on perinteisesti ollut suosituin vaihtoehto etämittaukselle. Valitettavasti RGB kamera on herkkä näköesteille ja valo olosuhteille, mikä rajoittaa sen käytettävyyttä. Lisäksi RGB kamera on luonnostaan yksityisyyttä loukkaava. On selvää, että muille etämittausmenetelmille on kysyntää. Valtaosa aktiviteetin tunnistukseen saatavilla olevista dataseteistä kattaa vain puettavia sensoreita sekä RGB videon. Jotta etämittauksella suoritettavaa aktiviteetintunnistusta voidaan kehittää, on luotava lisää datasettejä, jotka kattavat muitakin etämittausmenetelmiä.

Tässä diplomityössä luotiin liikuteltava useamodaalinen nauhoitusjärjestelmä. Järjestelmä kattaa RGB kameran, stereonäköä hyödyntävän syvyyskameran, matalaresoluutioisen infrapuna kameran, mikrofonin, sekä millimetriaaltotutkan. Tämä diplomityö dokumentoi käytetyt sensorit, toteutetun ohjelmiston arkkitehtuurin, sekä toteutetun ohjelmiston tuottamat dataformaatit. Toteutettu järjestelmä jäi hieman epävakaaksi, mutta se soveltuu kuitenkin pienimuotoisten datasettien keräämiseen. Epävakaus johtui luultavasti joko käytetystä tutkalaitteesta tai ohjelmointivirheestä. Jos epävakaus saadaan korjattua, järjestelmä soveltuu myös suuremman mittakaavan datasettien keräämiseen.