Evaluation of a computer vision model for a crane's target position measurement system
Aaltonen, Anu (2021)
2021
Automaatiotekniikan DI-ohjelma - Master's Programme in Automation Engineering
Tekniikan ja luonnontieteiden tiedekunta - Faculty of Engineering and Natural Sciences
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2021-05-18
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:tuni-202104263565
https://urn.fi/URN:NBN:fi:tuni-202104263565
Tiivistelmä
The aim of this thesis is to inspect how computer vision models used in keypoint detection are evaluated. An evaluation system for the models is implemented based on the research. The second objective is to examine how the evaluation system succeeds in evaluating the models.
First, research about keypoint detection are sought to gain insight how models are evaluated. Different data sets usually have their own evaluation metrics. Therefore, the aim is to select state of the art research papers that use different data sets. The results show that models using keypoint detection are evaluated in the same way as other models. However, the keypoints have their own evaluation metrics that classify the predicted keypoint as right or wrong.
Based on the first stage, the empirical part of the thesis is implemented. It implements an evaluation system for a computer vision model. The suitability of the evaluation system for the intended use is tested with three different models. Based on the results, it is concluded that it is possible for the evaluation system to rank the models from best to worst. However, analyzing the results is challenging because a single model usually does not perform best on all metrics. In addition, it is possible that different people will end up at different outcomes based on the same results. Työn tavoitteena on tutkia, kuinka avainpistetunnistuksessa käytettäviä konenäkömalleja arvoidaan. Tutkimuksen perusteella toteutetaan evaluointijärjestelmä, jolla malleja on mahdollista arvoida. Toisena tavoitteena on tutkia, kuinka evaluointijärjestelmä onnistuu mallien arvioinnissa.
Työn alussa etsitään avainpistetunnistusta käyttäviä tutkimuksia, joiden perusteella saadaan näkemys, kuinka malleja arvioidaan. Eri datajoukoille on yleensä omat arviointimetriikat. Näin ollen tutkimukset pyritään valitsemaan niin, että niissä käytetään eri datasettejä. Tulokset osoittavat, että avainpistetunnistusta käyttäviä malleja arvioidaan samalla tavalla kuin muitakin malleja. Avainpisteille on kuitenkin omia arviointimetriikoita, joilla ennustettu avainpiste luokitellaan oikeaksi tai vääräksi.
Ensimmäisen vaiheen perusteella toteutetaan työn empiirinen osuus, jossa toteutetaan konenäkömallien arviointijärjestelmä. Evaluointijärjestelmän soveltuvuutta käyttötarkoitukseen testataan kolmella eri mallilla. Tulosten perusteella todetaan, että evaluointijärjestelmällä on mahdollista järjestää mallit paremmuusjärjestykseen. Tulosten analysointi on kuitenkin haastavaa, koska yksittäinen malli ei yleensä anna parasta tulosta kaikilla metriikoilla. Lisäksi on mahdollista, että eri ihmiset päätyvät samojen tulosten perusteella eri lopputuloksiin.
First, research about keypoint detection are sought to gain insight how models are evaluated. Different data sets usually have their own evaluation metrics. Therefore, the aim is to select state of the art research papers that use different data sets. The results show that models using keypoint detection are evaluated in the same way as other models. However, the keypoints have their own evaluation metrics that classify the predicted keypoint as right or wrong.
Based on the first stage, the empirical part of the thesis is implemented. It implements an evaluation system for a computer vision model. The suitability of the evaluation system for the intended use is tested with three different models. Based on the results, it is concluded that it is possible for the evaluation system to rank the models from best to worst. However, analyzing the results is challenging because a single model usually does not perform best on all metrics. In addition, it is possible that different people will end up at different outcomes based on the same results.
Työn alussa etsitään avainpistetunnistusta käyttäviä tutkimuksia, joiden perusteella saadaan näkemys, kuinka malleja arvioidaan. Eri datajoukoille on yleensä omat arviointimetriikat. Näin ollen tutkimukset pyritään valitsemaan niin, että niissä käytetään eri datasettejä. Tulokset osoittavat, että avainpistetunnistusta käyttäviä malleja arvioidaan samalla tavalla kuin muitakin malleja. Avainpisteille on kuitenkin omia arviointimetriikoita, joilla ennustettu avainpiste luokitellaan oikeaksi tai vääräksi.
Ensimmäisen vaiheen perusteella toteutetaan työn empiirinen osuus, jossa toteutetaan konenäkömallien arviointijärjestelmä. Evaluointijärjestelmän soveltuvuutta käyttötarkoitukseen testataan kolmella eri mallilla. Tulosten perusteella todetaan, että evaluointijärjestelmällä on mahdollista järjestää mallit paremmuusjärjestykseen. Tulosten analysointi on kuitenkin haastavaa, koska yksittäinen malli ei yleensä anna parasta tulosta kaikilla metriikoilla. Lisäksi on mahdollista, että eri ihmiset päätyvät samojen tulosten perusteella eri lopputuloksiin.