Experimental Evaluation of Depth Cameras for Pallet Detection and Pose Estimation

Abstract

AGVs are widely used for automatic handling of goods in industrial environments, often using some kind of standardized pallets as a platform. Conventionally used AGVs require well-defined, structured and obstacle-free working environments. To work in a dynamic environment, where the exact places of the handled pallets are not necessarily known, the pallet handler needs to detect the target pallets from its environment and localise them accurately enough for manipulation. This can be done using model-based pattern recognition approaches or data-intensive deep learning approaches. Regardless of the chosen approach, the algorithm needs data to work with, which could be conventional image data or depth data. Depth data produced by laser scanners or depth cameras can be used for accurate pose estimation.

This thesis aims to evaluate depth cameras while proposing criteria that future depth cameras can be evaluated against. The evaluation should focus on the needs of a target application, a research project in the Laboratory of Innovative Hydraulics and Automation (IHA), Faculty of Engineering and Natural Sciences of Tampere University named Himmeli Robotics. It includes technical research, market research and product development for a system that aims to partially or fully automate mobile pallet handling tasks in indoor logistics.

During this thesis, a short literature review on pallet detection and pose estimation from depth data is conducted. Also, a more in-depth literature review about the theory, working principles and noise characteristics of different commonly used depth camera technologies is conducted. After the literature reviews, object detection and pose estimation focused evaluation criteria for depth cameras is suggested. A set of industry-standard depth cameras are evaluated against these criteria using both qualitative and quantitative testing methods either common in the literature or newly proposed. Noise patterns that occur especially during the qualitative tests are further investigated individually for each camera and possible solutions to prevent or reduce the effect of the noise are presented. Finally, the most suitable depth cameras for the target application and a focus for further development are suggested.

The following properties of the depth data were chosen as the evaluation criteria: absolute error and variance of the depth data, point cloud density, the tolerance for different materials, shapes and illumination conditions, and finally the edge fidelity of the recorded objects in the depth data. The evaluated cameras were Realsense D435i, Realsense D415, Realsense L515, Stereolabs ZED, Azure Kinect DK and IFM O3D303. From these, the IFM O3D303 was chosen as the primary option as the depth camera for the target application due to its robustness with different materials and illumination conditions and its fairly small absolute depth error and depth data variance. However, using the IFM O3D303 necessitates further testing and development of a post-processing filter, which functionality is described in the thesis. The Azure Kinect DK is a good second choice due to its small absolute depth error and variance of depth data, good frame rate and dense point clouds.

Vihivaunuja käytetään teollisuudessa kappaleiden automaattiseen käsittelyyn. Kappaleet ovat yleensä lastattuna standardikokoisille kuormalavoille. Nykyään yleisesti käytetyt vihivaunut tarvitsevat tarkasti määritellyn ja esteettömän toimintaympäristön, jossa käytettyjen kuormalavojen sijainnit ovat ennalta määrättyjä. Toimiakseen dynaamisessa ympäristössä, jossa kuormalavojen sijainnit eivät välttämättä ole tarkalleen tiedossa tulee kappaleen käsittelijän pystyä tunnistamaan kappale ja sen tarkka asento ympäristöstään. Tätä varten on olemassa kuormalavojen standardoituja mittoja hyödyntäviä hahmontunnistus algoritmeja, sekä dataintensiiviseen syväoppimiseen perustuvia koneoppimisalgoritmeja. Algoritmin luonteesta riippumatta se tarvitsee dataa, joka voi olla perinteistä kuvadataa tai syvyyskameran tuottamaa dataa. Syvyyskameran tuottamaa etäisyysdataa voidaan käyttää kappaleen tarkan asennon tunnistamiseen.

Tämän diplomityön tarkoitus on ehdottaa arvostelukriteeristö ja arvioida syvyyskameroita tämän kriteeristön avulla. Arvostelun tulisi ottaa huomioon kohdesovelluksen tarpeet. Kohdesovellus on tutkimusprojekti Tampereen Yliopiston Tekniikan ja luonnontieteiden tiedekunnassa Innovatiivisen hydrauliikan ja automaation tutkimusryhmässä. Tutkimusprojekti nimeltään Himmeli Robotics sisältää teknistä tutkimusta, markkinatutkimusta ja tuotekehitystä mobiilirobotiikan kehittämiseksi kuormalavojen automaattiseen käsittelyyn.

Tässä diplomityössä suoritetaan lyhyt kirjallisuuskatsaus syvyyskameran tuottaman datan perusteella tehtävään kuormalavan ja sen asennon tunnistukseen, sekä laajempi kirjallisuuskatsaus erilaisten syvyyskameroiden toimintaperiaatteisiin ja kullekkin syvyyskamerateknologialle ominaisten etäisyysdatassa esiintyvien häiriöiden syihin ja taustalla vaikuttavaan teoriaan.

Diplomityö esittelee myös kappaleen ja asennon tunnistuksen vaatimukset huomioon ottavan arvostelukriteeristön syvyyskameroille, sekä testaa ja vertailee kuutta ajankohtaista syvyyskameraa keskenään tämän kriteeristön perusteella käyttäen kirjallisuudessa esitettyjä ja myöskin tässä työssä ehdotettuja uusia sekä kvalitatiivisia että kvantitatiivisia testimetodeja. Etenkin kvalitatiivisen testauksen yhteydessä ilmaantuvien häiriökuvioiden perusteella suoritetaan kameramallikohtaista yksilöllistä jatkoselvitystä häiriökuvion syyn selvittämiseksi ja mahdollisen ratkaisun löytämiseksi häiriökuvion estämiseksi tai sen vaikutuksen vähentämiseksi. Lopuksi diplomityö ehdottaa sovellukseen sopivimmat syvyyskamerat ja mahdolliset jatkokehityskohteet.

Arvostelukriteeristöksi ehdotetaan seuraavia ominaisuuksia. Syvyysdatan absoluuttinen virhe, syvyysdatan hajonta, pistepilven tiheys, erilaisten pintamateriaalien, muotojen ja valaistuksien vaikutus syvyysdataan, sekä kuvattujen kappaleiden reunojen selkeys ja eheys syvyysdatassa. Arvostellut syvyyskamerat olivat Realsense D435i, Realsense D415, Realsense L515, Stereolabs ZED, Azure Kinect DK ja IFM O3D303. Näistä sovellukseen sopivaksi syvyyskameraksi valittiin ensisijaisesti IFM O3D303 sen pintamateriaali- ja valaistusrobustisuuden, sekä pienten absoluuttisen virheen ja datan varianssin vuoksi. IFM O3D303 käyttäminen tosin edellyttää jälkikäsittely suotimen kehittämistä, suotimen toiminnallisuus kuvataan diplomityössä. Toissijaiseksi syvyyskameravaihtoehdoksi sovellukseen valikoitui Azure Kinect DK sen pienen absoluuttisen virheen ja datan varianssin, sekä sen kuvataajuuden ja pistepilven tiheyden ansiosta.