Mallinvalintamenetelmät lineaarisessa regressiossa

Abstract

Lineaarinen regressioanalyysi on perinteinen ja monikäyttöinen tilastollinen menetelmä, jonka avulla selvitetään vastemuuttujan ja selittävien muuttujien välistä suhdetta. Lineaarisen regressiomallin avulla voidaan myös ennustaa tulevia havaintoja tai samankaltaisten aineistojen tuloksia. Edellytyksenä on löytää lineaariseen regressiomalliin oikeat selittävät muuttujat, jotka selittävät vastemuuttujaa sekä tilastollisesti että tutkimuskysymyksen kannalta merkitsevästi. Tämän tutkielman tavoitteena on esitellä lineaarisen regressiomallin selittävien muuttujien valintaan liittyviä menetelmiä.

Keskeisenä haasteena mallin muodostuksessa on riittävän selitysasteen saavuttaminen lisäämättä tarpeettomasti mallin kompleksisuutta. Haasteen ratkaisemiseksi erilaiset mallinvalintamenetelmät tarjoavat erilaisia lähestymistapoja. Tässä kandidaatintutkielmassa käsitellään näistä mallinvalintamenetelmistä askeltava regressio sekä sääntelymenetelmät harjaregressio (engl. ridge regression) ja LASSO (engl. Least Absolute Shrinkage and Selection Operator). Lisäksi tarkastellaan informaatiokriteereitä, jotka ovat keskeinen työkalu mallin sopivuuden arvioinnissa.

Alkuun esitellään konteksti eli lineaarinen regressiomalli ja siihen liittyvät lähtöoletukset. Mallinvalintamenetelmien tarkastelu aloitetaan perehtymällä perinteisempiin menetelmiin askeltavan regression sekä informaatiokriteereiden kautta. Askeltavan regression alustuksena esitellään lyhyesti parhaan osajoukon valinnan teoriaa, joka tarjoaa intuitiivisen pohjan askeltavan regression algoritmeille. Askeltavaan regressioon liittyen esitellään etenevä valinta ja poistovalinta. Informaatiokriteereistä esitellään Akaiken informaatiokriteeri (AIC), bayesilainen informaatiokriteeri (BIC) ja sovitettu selitysaste (sovitettu R2).

Perinteisempiä menetelmiä syvemmin perehdytään tuoreempiin mallinvalintamenetelmiin, harjaregressioon ja LASSO:on, joita kutsutaan sääntelymenetelmiksi tai kutistusmenetelmiksi. Näitä menetelmiä tarkastellaan pääosin erikseen, mutta niiden ominaisuuksia havainnollistetaan myös vertailemalla menetelmiä keskenään.

Edellä mainittujen menetelmien teoreettisen tarkastelun tukena menetelmiä havainnollistetaan analysoimalla Tilastokeskuksen Paavo-postinumeroaluetilastoihin (2023) perustuvaa valmisaineistoa R-ohjelmiston avulla. Teorian ja käytännön analyysin perusteella esitetään lopuksi johtopäätöksiä selittävien muuttujien valinnan optimoinnista esiteltyihin menetelmiin pohjaten, ja käydään vielä läpi onnistuneen mallinvalinnan edellytyksiä.

Avainsanat: lineaarinen regressiomalli, askeltava regressio, informaatiokriteeri, harjaregressio, LASSO