Terrain segmentation with neural networks for off-road applications

Abstract

To successfully move in off-road terrain such as at construction sites or in forests, autonomous mobile machines must be able to identify what they are moving on – or at least how challenging it is to move through – and decide if the short way is worth it. Traversability cost maps help in making that decision, and semantic segmentation of images of the terrain help in making the cost maps. It also brings machines more in-depth knowledge about the environments they are in. Semantic image segmentation means segmenting areas of an image into different classes, with the result being a mask of the differently labeled regions. It has benefited immensely from the emergence of computationally efficient neural networks, and the field has advanced quickly in recent years. In this thesis, the availability and performance of semantic segmentation deep learning models is explored, and their use in off-road applications is reviewed. Terrain traversability, which is a measure of how easy it is to move on or through a terrain, is classified into appearance-based and geometry-based methods. Image segmentation falls into the former. An application of semantic segmentation was made with an existing state-of-the-art neural network model called Deeplab v3+ on a self-gathered dataset. A heavy mobile vehicle was maneuvered at a test site to gather two sets of stereo images with a stereo camera and accompanying position and heading data from a Global Navigation Satellite System (GNSS) receiver. 15 images in the dataset were annotated with pixel-wise semantic masks and used to train the model. Different amounts of pretraining were experimented with to apply fine-tuning for transfer learning to the model. To demonstrate the use of segmentation as a tool for mapping, images segmented with the model were turned into a point cloud map by applying depth calculation for stereo camera images and merging together individual point clouds by utilizing the position and heading data. The trained semantic segmentation model was evaluated to have a mean intersection over union (IoU) score of 79.7, and a class frequency –weighted IoU score of 87.6. Pretraining the model with a larger dataset before fine-tuning it with a smaller dataset similar to our own images, and then fine-tuning it for the last time with our dataset, brought an increase of 7.3% in mean IoU and an increase of 4.6% in weighted IoU. Especially smaller classes were more accurately segmented when applying transfer learning. Based on the performance of the model and the merged point cloud, the use of semantic segmentation models for terrain traversability analysis shows promise in use cases with small datasets when utilizing transfer learning from larger datasets. More research could be done to find alternative methods to manually labeling detailed semantic segmentation masks, which remains an issue in all segmentation tasks, and to use more robust ways to generate the point cloud map and fuse it with the segmentation output.

Onnistuakseen liikkumaan erilaisissa maastoissa teiden ulkopuolella kuten työmailla tai metsissä, on autonomisten liikkuvien koneiden tiedettävä minkä päällä ne liikkuvat – tai ainakin kuinka vaikeaa liikkuminen tulee olemaan – ja päättää onko lyhyin reitti helpoin vai ei. Ajokelpoisuuskustannuskartat auttavat tekemään tämän päätöksen, ja kuvien semanttinen segmentointi auttaa tekemään kustannuskartat. Se tuo koneille myös syvällisempää lisätietoa ympäristöistään. Kuvan semanttinen segmentointi tarkoittaa kuvan jakamista alueisiin sen perusteella, mihin luokkaan kuvan osat kuuluvat. Tuloksena on kuvan maski, johon on merkitty alueita niiden luokkien mukaan. Semanttinen segmentointi on hyötynyt valtavasti laskennallisesti tehokkaiden neuroverkkojen noususta, ja ala on kehittynyt nopeasti viime vuosina. Tässä diplomityössä tutkitaan erilaisten semanttisen segmentoinnin syväoppimismallien saatavuutta ja suorituskykyä etenkin maaston segmentointiin sovellettuna. Maaston ajokelpoisuus on mittari erilaisten maastojen vaikea- tai helppokulkuisuudelle. Se on luokiteltu kahteen eri menetelmään: ulkonäköperusteiseen ja muotoperusteiseen. Kuvien segmentointi kuuluu näistä ensimmäiseen. Semanttista segmentointia sovellettiin tässä työssä itse kerättyyn aineistoon käyttämällä olemassa olevaa tämänhetkistä huipputasoa edustavaa neuroverkkomallia Deeplab v3+:aa. Kaksi aineistoa kuvia ja paikka- sekä suuntaustietoa kerättiin ajamalla stereokameralla ja satelliittinavigointijärjestelmäpaikantimella varustettua raskasta työmaa-ajoneuvoa mittauspaikalla. 15 kuvaa aineistossa merkattiin pikselitason segmentaatiomaskilla ja käytettiin kouluttamaan neuroverkkomalli. Mallille tehtiin eri määriä esikoulutusta hienosäätösiirto-oppimisen arviointia varten. Demonstraationa segmentoinnin käytöstä kartoituksessa, segmentointimallilla segmentoiduista kuvista rakennettiin 3D-pistepilvi käyttämällä stereokameran mahdollistamaa syvyyden laskentaa ja yhdistämällä yksittäiset pistepilvet käyttäen apuna kerättyä paikka- ja suuntaustietoa. Koulutettu malli sai aineistolla keskimääräisen leikkaus-yli-liiton (IoU) –tuloksen 79,7 ja luokkien yleisyyden mukaan painotetun IoU-tuloksen 87,6. Esikoulutus ensin suuremmalla aineistolla, sitten hienosäätö meidän aineistomme kaltaisella pienemmällä aineistolla, ja lopuksi hienosäätö meidän kuvillamme toi mallille 7,3% parannuksen keskimääräiseen IoU:hun ja 4,6% parannuksen painotettuun IoU:hun. Etenkin pienempien luokkien segmentointi parani soveltamalla siirto-oppimista. Mallin tuloksien sekä yhdistetyn pistepilven perusteella semanttisen segmentoinnin neuroverkkomallien käyttämiseen maaston ajokelpoisuuden arviointiin on lupaavaa näyttöä pienilläkin lähtöaineistoilla, kun käytetään siirto-oppimista suuremmista aineistoista. Tutkimusta voitaisiin jatkaa etsimällä vaihtoehtoisia tapoja kuvien merkkaamiseen käsin tarkoilla segmentointimaskeilla, mikä on raskas työvaihe missä tahansa segmentointitehtävässä, sekä käyttämällä tarkempia tapoja pistepilvikartan generointiin ja segmentointimallin tuloksen yhdistämiseen karttaan.