Automatization of lignin dispersion analysis in rubber with deep learning and purpose-built software

Abstract

Rubbers are essential in industries such as tire manufacturing and automotive engineering due to their exceptional elasticity, durability, and resistance to wear. While the base elastomer the rubber is made of can be renewable or synthetic, it typically is filled with a petrochemical like carbon black to lower the cost of the rubber and improve its mechanical properties. Switching the filler to a renewable and biodegradable solution could lower the carbon emission impact of rubber products, and one currently researched candidate is lignin. Lignin is a complex, irregular, and aromatic biopolymer found in plant cell walls, providing structural rigidity, hydrophobicity, and resistance to microbial degradation. 50 million tons of lignin is produced as a byproduct of paper manufacturing each year, and 98% of it is burned to produce energy. Its natural reinforcing role in plants, combined with its abundance, makes lignin a promising candidate for use as a sustainable rubber filler. The dispersion of the filler describes the process where filler particles are distributed uniformly throughout the rubber matrix, and it defines the linkage between the system's structural counterparts. It depends on multiple factors, such as the polarities of the filler and the matrix, mixing parameters, filler origin and processing and the reactivity of the system. Currently, lignin dispersion shows inconsistent results, with average particle sizes in some cases reaching the potentially semi-reinforcing range of below 1 µm. The dispersion of lignin is measured with scanning electron microscopy, where the images taken from the sample are processed into particle maps where the distribution of the particle sizes can be conducted. Currently established image processing methods lack efficiency and automatization for large scale data batches, so in an effort to make the process more efficient, an automated tool was created alongside this thesis. The software, nicknamed MIMOSA, features image processing functions in a node based architecture, providing a visual programming language to the user with the necessary tools to conduct image processing for harder images, such as lignin-matrix electron microscopy images. While the tool was more efficient than the established methods, the amount of manual work still needed per image seemed too high. A solution to automatize the manual image processing is to utilize a neural network to create the particle map. Over 20 neural networks were trained during this thesis, and through qualitative evaluation, the best-performing model was found to accurately predict 90% of the input images. A fully automatized pipeline tool was implemented into MIMOSA, which utilizes the neural network to create particle maps on arbitrarily large datasets and processes them to create dispersion data. The pipeline proved to be about 50 times faster than the established method, and in some cases, the neural networks produced particle maps of higher quality than those achievable with conventional image processing techniques. This dispersion measurement method was applied in an experimental section, where the tensile strength of six different lignin-filled rubber compounds was compared to their filler dispersion. Although some correlation was observed, the dataset was too limited to support definitive conclusions.

Kumit ovat keskeisiä monilla teollisuudenaloilla, kuten rengasvalmistuksessa ja ajoneuvotekniikassa, niiden erinomaisen elastisuuden, kestävyyden ja kulutuksenkestävyyden ansiosta. Vaikka kumien peruselastomeeri voi olla uusiutuvaa tai synteettistä alkuperää, sitä täydennetään tyypillisesti petrokemiallisella täyteaineella, kuten noella, kustannusten alentamiseksi ja mekaanisten ominaisuuksien parantamiseksi. Korvaamalla täyteaine uusiutuvalla ja biohajoavalla vaihtoehdolla voitaisiin pienentää kumituotteiden hiilijalanjälkeä, ja yksi tällä hetkellä tutkittava ehdokas on ligniini. Ligniini on epäsäännöllinen ja aromaattinen biopolymeeri, jota esiintyy kasvien soluseinissä ja joka antaa rakenteellista lujuutta, vettähylkivyyttä ja mikrobikestävyyttä. Paperiteollisuuden sivutuotteena syntyy vuosittain noin 50 miljoonaa tonnia ligniiniä, josta 98 % poltetaan energiantuotannossa. Sen luonnollinen vahvistava rooli kasveissa sekä suuri saatavuus tekevät siitä lupaavan ehdokkaan kestävään kumien täyteainekäyttöön. Täyteaineen dispersiolla tarkoitetaan prosessia, jossa täyteainepartikkelit jakautuvat tasaisesti kumimatriisin sisällä, ja se määrittää sidonnaisuuden järjestelmän rakenteellisten osapuolten välillä. Dispersioon vaikuttavat monet tekijät, kuten täyteaineen ja matriisin polaarisuus, sekoitusparametrit, täyteaineen alkuperä ja prosessointi sekä järjestelmän reaktiivisuus. Tällä hetkellä ligniinin dispersio tuottaa vaihtelevia tuloksia, ja joissain tapauksissa keskimääräinen partikkelikoko yltää mahdollisesti puolivahvistavaan, alle 1 µm:n kokoluokkaan. Ligniinin dispersiota mitataan pyyhkäisyelektronimikroskopialla, jossa näytteistä otetut kuvat muunnetaan partikkelikartoiksi, joista partikkelikokojakauma voidaan analysoida. Nykyiset kuvankäsittelymenetelmät eivät kuitenkaan ole erityisen tehokkaita tai automatisoituja suurten datamäärien käsittelyyn, minkä vuoksi tämän työn yhteydessä kehitettiin automatisoitu työkalu prosessin tehostamiseksi. Ohjelmisto, nimeltään MIMOSA, sisältää kuvankäsittelytoimintoja solmupohjaisessa arkkitehtuurissa, tarjoten käyttäjälle visuaalisen ohjelmointikielen, jolla voidaan käsitellä haastavia kuvia, kuten ligniini-matriisi-elektronimikroskooppikuvia. Vaikka työkalu osoittautui tehokkaammaksi kuin vakiintuneet menetelmät, vaadittavan manuaalityön määrä yhtä kuvaa kohden oli silti liian suuri. Ratkaisuksi manuaalisen kuvankäsittelyn automatisointiin kehitettiin neuroverkkoon perustuva partikkelikartan generointi. Tämän työn aikana koulutettiin yli 20 neuroverkkoa, ja laadullisen arvioinnin perusteella paras malli kykeni ennustamaan oikein noin 90 % syötetyistä kuvista. Täysin automatisoitu prosessointijärjestelmä implementoitiin osaksi MIMOSAa, joka käyttää neuroverkkoa partikkelikarttojen muodostamiseen mielivaltaisen suurista tietoaineistoista sekä laskee niiden pohjalta dispersiotiedot. Prosessointijärjestelmä osoittautui noin 50 kertaa nopeammaksi kuin vakiintunut menetelmä, ja joissain tapauksissa neuroverkot tuottivat laadultaan parempia partikkelikarttoja kuin mihin perinteiset kuvankäsittelytekniikat kykenevät. Tätä dispersiomittausmenetelmää sovellettiin kokeellisessa osuudessa, jossa kuuden erilaisen ligniinillä täytetyn kumikomposiitin vetolujuutta verrattiin niiden täyteaineen dispersioon. Vaikka tietynlaista korrelaatiota havaittiin, aineisto oli liian rajallinen lopullisten johtopäätösten tekemiseen.