Datamigraatio työtietokannan avulla
Piskonen, Juuso (2017)
2017
Tietotekniikka
Tieto- ja sähkötekniikan tiedekunta – Faculty of Computing and Electrical Engineering
This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Hyväksymispäivämäärä
2017-05-03
Julkaisun pysyvä osoite on
http://urn.fi/URN:NBN:fi:tty-201704201323
http://urn.fi/URN:NBN:fi:tty-201704201323
Tiivistelmä
Datamigraatiossa dataa siirretään järjestelmien välillä muokaten sitä kohdejärjestelmään sopivaksi. Prosessi voidaan jakaa kolmeen osaan: Datan hakeminen lähdejärjestelmästä, datan muokkaus ja vienti kohdejärjestelmään. Lähdedata luetaan käsittelyä varten, muokataan prosessointivaiheessa kohdejärjestelmän vaatimaan muotoon ja kirjoitetaan kohdejärjestelmään.
Työssä uudistettiin toistuva datamigraatioprosessi, joka oli toteutettu aiemmin Java-ohjelmointikielellä käyttäen Spring Batch -ohjelmistokehystä. Prosessi koostui useista sovelluksella toteutetuista eräajoista, jotka lukivat datan kahdesta eri tietolähteestä, käsittelivät sen ja lopuksi kirjoittivat sovelluksen käyttämään tietokantaan. Prosessissa oli ongelmana pitkä suoritusaika, korkea resurssien tarve ja haastava toistettavuus.
Datamigraatioprosessi uudistettiin käyttämällä datan prosessointiin ja muokkaukseen työtietokantaa. Työtietokantana toimi PostgreSQL -tietokanta, jonka ominaisuuksista hyödynnettiin varsinkin näkymiä ja viitetauluja, joista viitetauluja käytettiin datan siirrossa sovelluksen tietokantaan.
Työtietokannan käyttöönotto datan prosessoinnissa vei suurimman osan migraatioprosessin vaatimista resursseista sovelluksesta erilliseen tietokantaan. Prosessin kokonaiskesto laski huomattavasti ja työtietokantaan tehdyt näkymät mahdollistivat datan katselmoinnin jo kantatasolla.
Työssä uudistettiin toistuva datamigraatioprosessi, joka oli toteutettu aiemmin Java-ohjelmointikielellä käyttäen Spring Batch -ohjelmistokehystä. Prosessi koostui useista sovelluksella toteutetuista eräajoista, jotka lukivat datan kahdesta eri tietolähteestä, käsittelivät sen ja lopuksi kirjoittivat sovelluksen käyttämään tietokantaan. Prosessissa oli ongelmana pitkä suoritusaika, korkea resurssien tarve ja haastava toistettavuus.
Datamigraatioprosessi uudistettiin käyttämällä datan prosessointiin ja muokkaukseen työtietokantaa. Työtietokantana toimi PostgreSQL -tietokanta, jonka ominaisuuksista hyödynnettiin varsinkin näkymiä ja viitetauluja, joista viitetauluja käytettiin datan siirrossa sovelluksen tietokantaan.
Työtietokannan käyttöönotto datan prosessoinnissa vei suurimman osan migraatioprosessin vaatimista resursseista sovelluksesta erilliseen tietokantaan. Prosessin kokonaiskesto laski huomattavasti ja työtietokantaan tehdyt näkymät mahdollistivat datan katselmoinnin jo kantatasolla.