Biomedical Image Stack Analysis with Machine Learning and Virtual Reality

Abstract

Biolääketieteellisen datan laskennallinen ja visuaalinen analyysi toimii pohjana biolääketieteen tutkimukselle. Syöpäsolujen jakautumisen ja syöpäkasvainten kasvutavan arviointi on keskeistä syöpätutkimuksessa. Kun yksittäisten mikroskooppikuvien sijaan kuvataan kuvapinoja, saadaan lisää informaatiota analyysin tueksi. Kuvapinojen täysipainoinen hyödyntäminen vaatii tehtävään soveltuvia laskennallisia menetelmiä ja työkaluja. Koneoppimisalgoritmit voivat hyötyä lisäinformaatiosta sillä ne pohjaavat syötettyyn dataan, ja kolmiulotteinen perspektiivi visualisoinnissa voi tarjota uusia oivalluksia sairauksien mekanismeista.

Koneoppimisessa tietokone opetetaan itsenäiseen luokitteluun, tunnistukseen ja analyysitehtäviin datan pohjalta. Yleisesti tunnettuja koneoppimismalleja ovat viime vuosina tutuiksi tulleet generatiiviset tekoälymallit, mukaan lukien suuret kielimallit. Tässä työssä keskitymme kuitenkin perinteiseen koneoppimiseen sekä pienemmän kokoluokan neuroverkkoihin solutunnistuksessa. Paljon opetusdataa tarvitsevien suurikokoisten mallien sijaan tutkimme pienempien mallien generalisoitumista data-alueesta toiseen, jolloin opetusdataa ei tarvita uudelta data-alueelta.

Virtuaalitodellisuus on kolmiulotteinen digitaalinen ympäristö, jossa syvyysvihjeet mahdollistavat kolmiulotteisen hahmotuksen samalla tavalla kuin todellisessa maailmassa. Biolääketieteellisen datan pohjalta voimme ohjelmoida interaktiivisia ja intuitiivisia simulaatioita, jotka auttavat ymmärtämään monimutkaisia biologisia rakenteita ja prosesseja. Kiinnostus virtuaalitodellisuuden käyttöön tieteellisen datan visualisointialustana on viime vuosina kasvanut. Vapaasti käytettävät ohjelmat ovat kuitenkin vielä harvassa, eikä virtuaalitodellisuusteknologian hyödyntäminen ole yleistä biolääketieteen tutkimuksessa. Tarvitaan rohkeita uusia avauksia, jotta voimme selvittää virtuaalitodellisuuden hyötyjä data-analyysissä.

Tässä väitöskirjassa tutkimusaineistona käytetään valomikroskoopilla kuvattuja fokuspinoja syöpäsoluviljelmistä sekä histologisia sarjaleikkeitä hiirten eturauhasista. Koneoppimisen avulla tutkimme fokuspinojen hyötyjä solujen tunnistuksessa sekä kehitämme moniin eri solulinjoihin generalisoituvan soludetektioalgoritmin. Lisäksi tutkimme erilaisia lähestymistapoja kolmiulotteisten mallien luontiin histologisesta datasta ja kehitämme interaktiivisia virtuaalitodellisuusvisualisointeja näiden mallien pohjalta. Histologiset sarjaleikkeet sisältävät informaatiota korkean resoluution leikkeistä kolmiulotteisiin rakenteisiin eturauhasnäytteen sisällä.

Yhteenvetona voimme todeta, että valomikroskoopilla kuvatut fokuspinot ovat hyödyllisiä solutunnistuksessa, ja adaptoituva koneoppiminen vähentää tarvetta manuaaliseen annotointiin. Fokuspinoja voitaisiin hyödyntää rutiininomaisesti, sillä ne on helppo kuvata. Virtuaalitodellisuus on erinomainen työkalu kolmiulotteisen biolääketieteellisen datan analysoinnissa. Modernit pelimoottorit mahdollistavat uudenlaisten tieteellisten visualisointi- ja simulaatiotyökalujen kehittämisen. Tutkimuksemme ovat osoittaneet, että kudosten ominaisuuksia, kuten kasvumalleja ja tautipoikkeamia, voidaan analysoida kattavasti virtuaalitodellisuudessa.

Computational and visual analysis of biomedical data forms the basis of biomedical research. In cancer research, it is essential to be able to estimate cancer cell growth and tumor growth patterns. As microscopy data is expanded from individual images to image stacks, we gain more information content for analysis – provided we have the proper methods and tools to utilize the data. Machine learning algorithms often benefit from enhanced information as they rely on provided data, while a 3D perspective in visualization can offer new insights into various diseases and conditions. In machine learning, computers are trained to independently perform classification, recognition, and analysis tasks based on data. Widely known machine learning models include recently emerged generative AI models, such as large language models. However, this work focuses on traditional machine learning and deep learning on a smaller scale for cell detection. Instead of using large models with a high amount of training data, we study domain adaptation for generalizing models such that no training data is required for a new domain.

Virtual reality is a naturally three-dimensional digital environment where depth cues enable 3D cognition similar to reality. It is a platform for which we can program interactive and intuitive simulations of biomedical data to help us understand complex biological structures and processes. In recent years, growing interest towards virtual reality for data visualization has emerged, yet freely accessible applications are still rare, and virtual reality is not a common technology in research. We need brave new experiments to explore the benefits of virtual reality in data analysis.

In this thesis, we explore bright-field focus stacks of cancer cell populations and 3D histology data of mouse prostates. Machine learning is used with cancer cell data to study the usefulness of bright-field focus stacks in cell detection and to develop a cell detection algorithm that generalizes over several cell lines. Several 3D modeling approaches are experimented with for 3D histology data, and we develop interactive virtual reality visualizations based on the models and original histology. Serially sectioned histology samples provide information ranging from high-resolution sections to 3D structures inside the sample.

To conclude, bright-field focus stacks are useful in cell detection, and to minimize the annotation effort, unsupervised domain adaptation helps in generalizing detection models. As the focus stacks are easy to acquire, they could be imaged routinely. Virtual reality is a suitable tool for visual analysis of 3D biomedical data. Modern game engines have high potential in the development of novel scientific visualization and simulation tools. We find that analysis of tissue characteristics like growth patterns and pathologies can be comprehensively done in virtual reality.