ETL Optimization in Data Warehouse: A Systematic Literature Review

Abstract

Data-driven decision-making has become increasingly important for organizational competitiveness. Data warehouse development is a labor-intensive and costly project, in which the ETL process constitutes a central and critical component. It forms the foundation for efficient data processing and enables decision-making based on up-to-date information. Organizations must develop efficient data warehousing solutions to meet the growing demands of data-driven management, and ETL process optimization plays a key role in this context.

This master’s thesis examines ETL optimization in the context of data warehousing. The objective of the study is to develop a comprehensive understanding of ETL optimization and to identify shared practices for the design and implementation of optimal ETL processes. The study was conducted as a systematic literature review following a predefined research protocol. The material was collected from multiple digital libraries, and 17 studies meeting the selection criteria were included in the analysis.

Based on the analysis, key best practices for ETL optimization were identified. Optimization should be considered already during the design phase of ETL processes as part of the overall architecture, rather than as a corrective action. In addition, the selection of optimization solutions should take into account the technologies in use, the characteristics of the data, and the requirements of the organization. As ETL processes are inherently complex, optimization methods should support process maintainability without introducing unnecessary additional complexity. The findings indicate that parallelization emerges as a key technique for improving performance and scalability, although no single universally applicable optimization approach exists. Optimization is predominantly presented in the literature as performance-oriented, but it is also beneficial to consider other perspectives when designing and implementing ETL solutions.

Tietoon perustuva päätöksenteko on noussut yhä tärkeämpään asemaan organisaation kilpailukyvyn kannalta. Tietovaraston kehitys on työläs ja kustannuksiltaan merkittävä projekti, jossa erityisesti ETL-prosessi muodostaa keskeisen ja kriittisen osa-alueen. Se toimii perustana tehokkaalle datan käsittelylle ja mahdollistaa ajantasaiseen tietoon perustuvan päätöksenteon. Organisaatioiden on kehitettävä tehokkaita tietovarastoratkaisuja vastatakseen kasvaviin tiedolla johtamisen vaatimuksiin, ja ETL-prosessien optimointi on tässä keskeisessä roolissa.

Tässä pro gradu -työssä tarkastellaan ETL-optimointia tietovarastoinnin kontekstissa. Tutkimuksen tavoitteena on muodostaa kokonaisvaltainen käsitys ETL-optimoinnista sekä tunnistaa yhteisiä käytäntöjä optimaalisten ETL-prosessien suunnitteluun ja toteutukseen. Tutkimus toteutettiin systemaattisena kirjallisuuskatsauksena ennalta määriteltyä tutkimusprotokollaa noudattaen. Aineisto kerättiin digitaalisista kirjastoista, ja analyysiin valittiin 17 valintakriteerit täyttävää tutkimusta.

Analyysin pohjalta tunnistettiin keskeisiä parhaita käytäntöjä ETL-optimointiin. Optimointi tulisi huomioida jo ETL-prosessien suunnitteluvaiheessa osana kokonaisarkkitehtuuria, eikä pelkästään korjaavana toimenpiteenä. Lisäksi optimointiratkaisujen valinnassa on tärkeää huomioida käytettävissä olevat teknologiat, datan ominaisuudet sekä organisaation vaatimukset. Koska ETL-prosessit ovat luonteeltaan monimutkaisia, optimointimenetelmien tulisi tukea prosessien ylläpidettävyyttä eikä lisätä tarpeettomasti niiden kompleksisuutta.

Tutkimuksen perusteella rinnakkaisuus nousee keskeiseksi keinoksi parantaa suorituskykyä ja skaalautuvuutta, vaikka yhtä yleispätevää optimointiratkaisua ei ole. Optimointi näyttäytyy kirjallisuudessa pääosin suorituskykykeskeisenä, mutta ETL-ratkaisujen suunnittelussa ja toteutuksessa on hyödyllistä huomioida myös muita näkökulmia.