Dynamic tracking of personnel at shop floor using machine vision and machine learning

Abstract

Industrial shop floors present numerous hazards due to the interaction between personnel and machinery. Ensuring the safety of personnel in an industrial setting is crucial, but traditional safety mechanisms, such as RFID-based tracking and physical barriers, and predefined safety zones often require extensive setup and fail to dynamically adapt to changing conditions. These conventional methods also often fail to provide real-time information about potential safety issues, increasing the risk of life-threatening hazards. With the increasing complexity of industrial environments and the growing number of robots in shop floors, there is a growing need for intelligent, automated safety solutions that can adapt to dynamic conditions and provide real-time alerts for hazardous situations. This thesis studies the use of machine vision and machine learning for real-time personnel tracking, re-identification, and hazard detection to enhance industrial workplace safety.

A system is designed and implemented to detect, track, re-identify and ensure safety of personnel in an industrial setting using deep learning models. Object detection is performed using the YOLO framework, a fast state-of-the-art object detection model. Personnel tracking and re-identification utilize multi-object tracking algorithms and feature extraction techniques to maintain accurate identities across frames. The system also maintains a database of personnel to keep the feature extractions for re-identification up-to-date with possible changes in the visual environment and personal appearance. Additionally, the system integrates hazard identification through pose estimation and action recognition, allowing it to detect potential safety risks such as workers entering hazardous zones or appearing in distress. The integration of these components combines into a safety monitoring system that can operate in real-time without requiring specific hardware or extensive setup.

Experiments were conducted to evaluate the accuracy of personnel detection, tracking reliability under occlusion conditions, and re-identification robustness in different scenarios, including occlusion and overlapping of people. The results demonstrate that the proposed system achieves high detection accuracy while maintaining reliable tracking and re-identification. Furthermore, the system's hazard detection capabilities proved the system's potential to identify and mitigate workplace risks. The system was able to recognize safety threats such as unexpected falls and a person moving into a hazardous area. By reducing reliance on manual supervision and traditional workplace safety measures, the system presents an adaptable approach to industrial safety monitoring. The findings confirm the potential of machine vision-based tracking to improve safety in industrial environments.

Teolliset ympäristöt, kuten tehtaat, aiheuttavat lukuisia potentiaalisia vaaratilanteita henkilöstön ja koneiden välisen vuorovaikutuksen vuoksi. Henkilöstön turvallisuuden varmistaminen on tärkeää, mutta perinteiset turvamekanismit, kuten RFID-pohjainen seuranta, fyysiset esteet ja ennalta määritetyt turva-alueet vaativat usein ympäristökohtaista asennusta, eivätkä ne pysty mukautumaan muuttuviin olosuhteisiin. Nämä perinteiset menetelmät eivät myöskään tarjoa reaaliaikaista tietoa henkilöstön turvallisuudesta, mikä lisää vakavien vaaratilanteiden riskiä. Teollisten ympäristöjen muuttuessa ja robottien lukumäärän lisääntyessä älykkäiden, automatiosoitujen turvallisuusratkaisujen tarve kasvaa. Tällaiset ratkaisut voivat mukautua dynaamisiin ja vaihteleviin olosuhteisiin ja tarjota reaaliaikaisia hälytyksiä vaarallisista tilanteista. Tämä opinnäytetyö tutkii konenäön ja koneoppimisen käyttöä reaaliaikaisessa henkilöstön seurannassa, uudelleentunnistuksessa ja vaarojen havaitsemisessa teollisen ympäristön turvallisuuden parantamiseksi.

Järjestelmä on suunniteltu ja toteutettu havaitsemaan, seuraamaan, uudelleentunnistamaan ja varmistamaan henkilöstön turvallisuus teollisessa ympäristössä syväoppimismalleja käyttäen. Objektien tunnistus toteutetaan YOLO-mallin avulla, joka on nopea ja kehittynyt nykyaikainen objektintunnistusmalli. Henkilöstön seuranta ja uudelleentunnistus hyödyntävät usean kohteen seuranta-algoritmeja ja henkilön piirteiden eristämistekniikoita, jotta henkilöiden identiteetit pysyvät muuttumattomina kuvasta toiseen. Järjestelmä myös ylläpitää tietokantaa henkilöstöstä, jotta uudelleentunnistusalgoritmin toimintavarmuus pysyy korkeana ympäristön olosuhteiden ja henkilön ulkonäön muutoksista riippumatta. Järjestelmä toteuttaa myös vaaratilanteen tunnistamisen asennon arvioinnin ja toiminnan havaitsemisen avulla, jolloin se voi havaita mahdollisia turvallisuusriskejä, kuten työntekijöiden siirtymisen vaaralliselle alueelle tai kaatumisen. Näiden komponenttien integrointi muodostaa turvallisuuden valvontajärjestelmän, joka toimii reaaliajassa ilman erityisiä laitteistovaatimuksia tai laajaa asennusta.

Järjestelmää testattiin arvioimalla henkilöstön tunnistuksen tarkkuutta, seurannan luotettavuutta henkilön ollessa osittain piilossa esteen takana sekä uudelleentunnistuksen toimivuutta erilaisissa skenaarioissa, mukaan lukien henkilöiden päällekkäisyys ja peittyminen. Tulokset osoittavat, että kehitetty järjestelmä saavuttaa korkean tunnistustarkkuuden säilyttäen samalla luotettavan seurannan ja uudelleentunnistuksen. Lisäksi järjestelmän vaaratilanteiden tunnistuskyky osoitti sen tunnistavan ja varoittavan turvallisuusriskeistä. Järjestelmä kykeni havaitsemaan turvallisuusuhkia, kuten odottamattomia kaatumisia ja henkilön siirtymisen vaaralliselle alueelle. Vähentämällä riippuvuutta manuaalisesta valvonnasta ja perinteisistä turvallisuusmenetelmistä järjestelmä tarjoaa mukautuvan lähestymistavan teolliseen turvallisuusvalvontaan. Löydökset osoittavat konenäköpohjaisen seurannan mahdollisuudet parantaa turvallisuutta teollisuusympäristöissä.