Generative methods for microstructure 3D reconstruction from 2D images

Abstract

This thesis explores the role of imaging and the significance of understanding the material 3D microstructure in Integrated Computational Materials Engineering (ICME). ICME represents a transformative approach to material development, characterised by accelerated innovation, cost efficiency, and enhanced material performance. This is achieved by integrating advanced computational modelling, experimental validation, and a comprehensive understanding of the intricate interplay between processing, microstructure, and material properties.

The 3D structure of materials is crucial in the research of existing materials and the development of new ones, particularly their three-dimensional phase structure. However, generating the 3D microstructure of materials with current technology is challenging and costly. In contrast, producing two-dimensional micro-scale images is more feasible and cost-effective using standard laboratory equipment. Data-driven modelling, especially in 2D to 3D reconstruction, has become more common in materials science for predicting mechanical and physical properties. Especially machine learning-based methods offer a swift and cost-efficient alternative for creating 3D microstructures from 2D images, providing an advantage over conventional measurement-based techniques like X-ray CT or SEM scans followed by 3D reconstruction. This benefit stems from the capacity of representative 2D images to provide a statistically accurate depiction of the distribution of grains, phases, and their uniformity and orientation within the material.

This study set out to research methods and implement a tool demonstration for the 3D microstructure generation from 2D images in the scope of ICME. The main contribution of this work was to present and evaluate recent deep generative methods for 2D-to-3D microstructure reconstruction. For the evaluation of the possible methods, eight key ICME-related criteria were proposed, and eleven different methodologies were evaluated through a literature review. One of the methods, a GAN-based algorithm called SliceGAN, was selected for further study, and a tool pipeline including synthetic training volume generation and visual and numerical evaluation tools was designed to demonstrate the training and evaluation methodology of the network.

As a practical example, the methodology was applied across various test cases, including both synthetic and experimental data sets, including synthetic two- and three-phase isotropic and anisotropic porous, fibrous, and erosive materials, and experimental three-phase NMC cathode and solid oxide fuel cell anode images. The training of SliceGAN for each case was conducted using two distinct approaches (one with just a few images, and one with abundant training data available) to assess the algorithm's generative capabilities under varying data availability conditions. SliceGAN algorithm and the developed methodology demonstrated their proficiency in generating intricate and diverse microstructures tailored to the specific requirements of materials science research and development.

Tässä diplomityössä perehdytään kuvantamiseen ja materiaalien 3D-mikrorakenteeseen tietokoneavusteisessa materiaalikehityksessä (ICME). ICME on laskennallinen lähestymistapa materiaalikehitykseen, jonka hyötyinä ovat nopeampi tuotekehitys, kustannustehokkuus ja materiaalien suorituskyvyn parantaminen. Nämä hyödyt saavutetaan yhdistämällä edistynyt mallintaminen, kokeellinen validointi ja ymmärrys prosessoinnin, mikrorakenteen ja materiaaliominaisuuksien monimutkaisista vuorovaikutuksista.

Materiaalien kolmiulotteisen rakenteen ymmärrys on tärkeää materiaalitutkimuksessa ja uusien materiaalien kehittämisessä, erityisesti niiden kolmiulotteinen faasirakenne. Materiaalien 3D-mikro-rakenteen kuvantaminen nykytekniikoilla on kuitenkin haastavaa ja kallista. Kaksiulotteiset mikroskooppikuvat ovat sen sijaan helpommin ja kustannustehokkaammin saatavilla käyttäen tavallisempia laboratoriolaitteita. Data-pohjainen mallintaminen, erityisesti 2D-3D muunnos, on yleistynyt materiaalitieteessä mekaanisten ja fysikaalisten ominaisuuksien ennustamiseksi. Erityisesti koneoppimiseen perustuvat menetelmät tarjoavat nopean ja kustannustehokkaan vaihtoehdon 3D-mikrorakenteiden luomiseksi 2D-kuvista, kun niitä verrataan perinteisiin 3D-kuvantamistekniikoihin, kuten röntgentietokonetomografiaan tai pyyhkäisyelektronimikroskooppiin joihin on yhdistetty 3D-jälkirekonstruktio. 2D-3D muunnos perustuu 2D kuvien sisältämään tilastolliseen tietoon rakeiden, faasien ja niiden yhtenäisyyteen ja suuntautumiseen materiaaleissa.

Tämä tutkimus pyrki selvittämään menetelmiä ja toteuttamaan demonstraation 3D-mikroraken-teen generoinnille 2D-kuvista ICME:n ympäristössä. Työn pääkontribuutio on esitellä ja arvioida viimeaikaisia syvägeneratiivisia menetelmiä 3D-mikrorakenteen generoimiselle 2D kuvista. Mahdollisten menetelmien arviointia varten ehdotettiin kahdeksaa keskeistä ICME:een liittyvää kriteeriä, ja niiden perusteella arvioitiin kirjallisuuskatsauksen avulla yhtätoista eri menetelmää. Yksi menetelmistä, GAN-pohjainen algoritmi, SliceGAN, valittiin tarkempaan testaukseen. Mallin koulutukseen ja sen generoimien tulosten arviointia varten suunniteltiin työkaluputki, joka sisältää menetelmät synteettisen koulutusdatan luomiseen, mallin opettamiseen, sekä visuaaliseen ja numeeriseen arviointiin.

Käytännön esimerkkinä menetelmää sovellettiin erilaisiin synteettisiin, että kokeellisiin testitapauksiin, jotka kattavat synteettiset kaksi- ja kolmifaasiset isotrooppiset ja anisotrooppiset huokoiset, kuitumaiset ja eroosiomateriaalit, sekä kokeelliset kolmifaasiset NMC-katodi- ja kiinteäoksidi- polttokenno-anodikuvat. SliceGANin koulutus kussakin tapauksessa suoritettiin käyttäen kahta erilaista lähestymistapaa, jossa toisessa käytettiin vain muutamia kuvia ja toisessa runsaasti harjoitusdataa, jotta algoritmin generatiivisia kykyjä voitiin arvioida erilaisissa datan saatavuustapauksissa. SliceGAN-algoritmi ja suunniteltu menetelmä osoittivat kykynsä tuottaa monimutkaisia ja monipuolisia mikrorakenteita, jotka on mahdollista räätälöidä erilaisiin materiaalitieteentutkimuksen ja -kehittämisen vaatimuksiin.