Predictability of a driven elastic line's dynamics in a random medium

Abstract

Predicting the behavior of complex systems is a hard task because of their nonlinear and chaotic nature. This thesis revolves around an elastic line that is generated into a random medium through which it is driven by an external force. A physical realization of such a system can be for example a magnetic domain wall that is driven forward by an external magnetic feld. The line is considered a complex system where different line segments interact with each other and the random medium. The goal of this thesis is to study different machine learning models and how well can they be used the predict the dynamics of this line.

The simulation is done in the programming language C due to its performance and memory effciency. The simulation solves the quenched Edwards-Wilkinson equation numerically and in the process produces everything necessary for the machine learning models. The simulation process is executed 40 000 times in order to get enough data for the machine learning models. Except for the simulation, everything else is done in Python all the way from data processing to predictability analysis for the models. The models are done with Keras and scikit-learn libraries.

In this thesis three different machine learning models are used: the linear regression, neural network and convolutional neural network models. The linear regression and neural network models require manually defned features resulting into a loss of information. Moreover, the linear regression and neural network models are equal in predictability, indicating that the nonlinear dependencies were insignifcant and the linear dependencies dominated. Due to the loss of information, the linear regression and neural network models’ predictability is not as good as the convolutional neural network’s. The convolutional neural network model is able to take advantage of all of the possible information in the data by defning the important features itself.

In this thesis only information at the relaxed line profle is given to the models resulting into a really good predictability close to the line but poor predictability further away form the line. One possible future prospect would be to introduce a 2-dimensional convolutional neural network model which would also receive information ahead of the line profle. This way it could be possible to increase the current predictability further ahead of the line.

Monimutkaisten systeemien ennustaminen on vaikeaa niiden epälineaarisuuksien sekä kaoottisen luonteen takia. Tässä kandidaatintyössä keskitytään elastiseen viivaan, joka generoidaan satunnaiseen väliaineeseen. Viivaan kohdistetaan ulkoinen voima, jonka vaikutuksesta viiva etenee väliaineessa. Fysikaalinen realisaatio tällaiselle systeemille voi olla muun muassa magneettinen rajapinta, joka etenee ulkoisen magneettikentän vaikutuksesta. Viiva voidaan ajatella monimutkaisena systeeminä, jossa eri viivasegmentit vuorovaikuttuvat sekä toistensa että satunnaiskentän kanssa. Työn tavoitteena on tutkia erilaisia koneoppimismalleja sekä kuinka hyvin niitä voidaan käyttää viivan dynamiikan ennustamiseen.

Simulaatio suoritetataan C-ohjelmointikielellä sen suorituskyvyn sekä muistitehokkuuden vuoksi. Simulaatio ratkaisee jähmettyneen (engl. quenched) Edwards-Wilkinsonin yhtälön numeerisesti ja tuottaa samalla kaiken tarvittavan datan koneoppimismalleja varten. Simulaatioprosessi suoritetaan 40 000 kertaa riittävän datan saamiseksi koneoppimismalleille. Python-ohjelmointikieltä käytetään simulaatioprosessia lukuun ottamatta kaikkeen muuhun, aina datan käsittelystä ennustettavuusanalyysiin saakka. Mallit toteutetaan Keras- ja scikit-learn-kirjastoilla.

Tässä kandidaatintyössä käytetään kolmea erilaista koneoppimismallia: lineaarista regressiota, neuroverkkoa ja konvoluutioneuroverkkoa. Lineaarinen regressio ja neuroverkko vaativat manuaalisesti määriteltyjä ominaisuuksia. Koska nämä ominaisuudet määritellään manuaalisesti, menetetään datasta informaatiota. Epälinearisuudet riippuvuudet ovat merkityksettömiä linearisiin riippuvuuksiin verrattuna, koska lineaarinen regressio- ja neuroverkkomalli ovat ennustettavuudeltaan lähes identtiset. Informaation menetys on luultavasti suurin syy siihen, että ennustettavuus lineaarisella regressiolla ja neuroverkolla ei ole yhtä hyvä kuin konvoluutioneuroverkolla. Konvoluutioneuroverkko pystyy hyödyntämään kaiken mahdollisen datassa olevan informaation määrittelemällä itse datasta tärkeät ominaisuudet.

Koneoppimismallit saivat informaatiota vain relaksoituneen viivaprofilin kohdalta, mikä johtaa todella hyvään ennustettavuuteen lähellä viivaprofilia, mutta huonoon ennustettavuuteen kauempana viivaprofilista. Yksi mahdollinen tulevaisuuden näkymä olisi esitellä kaksiulotteinen konvoluutioneuroverkkomalli, joka saisi myös informaatiota viivan edestä. Tällä tavalla voisi olla mahdollista parantaa nykyistä ennustettavuutta kauempana viivaprofilista.