System Identification and Modeling of a Hydraulic Excavator

Abstract

The automation of excavators is an increasingly active research area, with reinforcement learning being a promising method for automating the excavation tasks. Accurate simulation models are essential for developing and training reinforcement learning applications. This thesis introduces a simulation model for Komatsu PC-138-US. The hydraulic system of the excavator is modeled as a grey-box implementation, in which analytical models of the hydraulic behavior are combined with identified parameters. The simulation model was validated by evaluating the prediction accuracy of the load-sensing pressure, actuator chamber pressures, and excavator manipulator motion.

The simulation model was implemented as a co-simulation between a hydraulic system model and the AGX Dynamics physics engine containing the excavator CAD model. The excavator has a load-sensing system, which was included in the hydraulic system model. The data library employed in this thesis consists of datasets containing either single-actuator movements or coordinated multi-actuator movements. The data were collected while a human operator controlled the excavator manipulator in free space.

The load-sensing and actuator models achieved low pressure prediction RMSE values when validated individually. The prediction accuracy decreased in the complete hydraulic system simulations involving simultaneous actuation of multiple actuators. The accuracy of the co-simulation varied between actuators, with the boom cylinder achieving the best results.

This research displays both the potential of the proposed grey-box modeling approach and the importance of further development of the model. While the individual components of the hydraulic system exhibited accurate and stable performance, their integration into the complete co-simulation reduced the overall prediction accuracy. Future work should focus on improving the load-sensing model during low-load operation by investigating alternative formulations of the smooth gate function and refining the CAD model used in the co-simulation. The identified parameters should also be validated using a more extensive measurement database covering a wider range of operating conditions. Additionally, alternative modeling approaches and parameter identification methods could be investigated to further improve the predictive accuracy of the hydraulic simulation framework.

Kaivinkoneiden automatisointi on kasvava tutkimusala, jonka keskeiseen ongelmaan, kaivuutehtävien automatisointiin, vahvistuoppiminen on potentiaalinen ratkaisu. Tarkat simulaatiomallit ovat keskeisiä vahvistuoppimisen sovellusten kehittämisessä ja kouluttamisessa. Tämä diplomityö esittelee Komatsu PC-138-US kaivinkoneen simulaatiomallin. Koneen hydraulijärjestelmä on mallinnettu grey-box -menetelmällä, jossa hydraulisten ilmiöiden analyyttiset mallit yhdistetään tunnistettujen parametrien avulla. Simulaatiomallin tarkkuutta arvioitiin mittamalla kuormantunnistuspaineen, toimilaitteiden kammiopaineiden ja kaivinkoneen työlaitteen liikkeiden ennustustarkkuutta.

Simulaatiomalli toteutettiin hydraulijärjestelmän mallin ja AGX Dynamics fysiikkamoottorin yhteissimulaationa, jossa kaivinkoneen CAD-malli liitettiin AGX Dynamicsin simulaatioympäristöön. Tämän tutkielman mittausaineisto koostuu joko yksittäisen toimilaitteen liikkeitä, tai useiden toimilaitteiden liikkeitä sisältävistä aineistoista. Aineistot kerättiin ihmisoperaattorin ohjatessa kaivinkoneen työlaitetta vapaassa tilassa.

Kuormantunnistusmalli ja toimilaitteiden mallit saavuttivat matalia paineen ennustuksen RMSE-arvoja, kun niitä testattiin yksitellen. Ennustustarkkuus heikkeni koko hydraulijärjestelmää simuloidessa, useiden toimilaitteiden liikkuessa samanaikaisesti. Yhteissimuloinnin tarkkuus vaihteli toimilaitteiden välillä, puomisylinterin saavuttaessa parhaat tulokset.

Tämä tutkimus osoittaa sekä esitetyn grey-box -mallinnusmenelmän potentiaalin, sekä simulaatiomallin jatkokehityksen tärkeyden. Yksittäisten järjestelmäkomponenttien tuottaessa tarkkoja ja vakaita simulaatioita integroitu järjestelmä suoriutui kokeista heikommin. Jatkotutkimuksen tulisi keskittyä kuormantunnistusmallin kehittämiseen matalan kuormituksen olosuhteissa, tutkimalla vaihtoehtoisia kaavoja porttifunktiolle ja parantelemalla yhteissimuloinnissa käytettävää CAD-mallia. Tunnistetut parametrit tulisi myös varmentaa käyttämällä laajempaa mittausaineistoa, joka kattaa useampia ohjaustilanteita. Lisäksi vaihtoehtoisia mallinnusratkaisuja ja parametrien tunnistusmenetelmiä tulisi tutkia hydraulisen simulaatiomallin ennustustarkkuuden parantamiseksi.