Invariant Coordinate Selection and New Approaches for Independent Component Analysis

Abstract

Tämän väitöskirjatyön tavoitteena oli tarkastella invarianttien koordinaattien valintaa ja tuoda uusia näkökulmia riippumattomien komponenttien analyysiin.

Moniulotteisten tilastollisten menetelmien yhteydessä kysymykset invarianttisuudesta ja ekvivarianttisuudesta nousevat usein esille. Toisinaan tilastollisia menetelmiä joudutaan muokkaamaan, jotta niille voidaan löytää invariantti tai ekvivariantti vastine. Tämä voidaan tehdä esimerkiksi transformoimalla data invarianttiin koordinaattisysteemiin.

Kahdessa väitöskirja-artikkelissa käsitellään invarianttien koordinaattien valintaa (ICS) ja ICS funktionaaleja. Moniulotteisen aineiston standardointia, ja ICS funktionaalien ja otossuureiden (asymptoottisia) ominaisuuksia tarkastellaan kattavasti. Myös moniulotteista huipukkuutta ja vinoutta käsitellään. ICS transformaatioiden sovellusalueista keskustellaan. Yksi tärkeä sovellusalue on riippumattomien komponenttien analyysi.

Riippumattomien komponenttien analyysi (ICA) on hyvin ajankohtainen tutkimusalue ja sillä on useita käytännön sovelluskohteita. Riippumattomien komponenttien mallissa p-ulotteisen satunnaisvektorin alkioiden oletetaan olevan sellaisen tuntemattoman p-ulotteisen satunnaisvektorin alkioiden lineaarikombinaatioita, jonka alkiot ovat toisistaan riippumattomia. Riippumattomien komponenttien analyysissä tavoitteena on löytää riippumattomat komponentit estimoimalla matriisia, joka välittää edellä kuvatun lineaaritransformaation. Uusia näkökulmia riippumattomien komponenttien analyysiin esitetään kolmessa väitöskirjan artikkelissa.

Yhdessä väitöskirja-artikkelissa esitetään uusi versio suositusta Deflation-based FastICA estimaattorista/algoritmista, jossa riippumattomat komponentit etsitään yksi kerrallaan. Tässä uudessa versiossa riippumattomat komponentit löydetään optimaalisessa järjestyksessä. Yhdessä artikkelissa esitetään (Le Cam mielessä) optimaalisia testaus - ja estimointimenetelmiä, kun riippumattomien komponenttien oletetaan tulevan symmetrisistä jakaumista. Yhdessä artikkelissa esitetään uusi menetelmä, jolla voidaan verrata erilaisia ICA estimaattoreita keskenään. Kaikissa kolmessa artikkelissa esitetään asymptoottisia tuloksia.

Väitöskirjan viimeisessä luvussa uusia menetelmiä sovelletaan käytännön aineistoon.

The aim of this doctoral thesis was to explore (asymptotical) characteristics of invariant coordinate system functionals and to introduce new approaches for independent component analysis.

Equivariance and invariance issues arise in multivariate statistical analysis. Sometimes statistical procedures have to be modified to obtain an affine equivariant or invariant version. This can be done by preprocessing the data, e.g., by standardizing the multivariate data or by transforming the data to an invariant coordinate system.

Two of the original articles deal with invariant coordinate selection and invariant coordinate system (ICS) functionals. Standardization of multivariate distributions, and characteristics of ICS functionals and statistics are examined. Also invariances up to some groups of transformations are discussed. Constructions of ICS functionals are addressed and asymptotical properties are explored. Also functionals and estimates of multivariate skewness and kurtosis are addressed. Application areas of ICS transformations are discussed. One important example of such application areas is independent component analysis.

Independent component analysis is a very timely research area with a wide field of applications. In the independent component model the elements of a p-variate random vector are assumed to be linear combinations of the elements of an unobservable p-variate vector with mutually independent components. In the independent component analysis the aim is to recover the independent components by estimating an unmixing matrix that transforms the observed $p$-variate vector to the independent components. New approaches for independent component analysis are provided in three of the original articles.

Deflation-based FastICA, where independent components are extracted one-by-one, is among the most popular methods for estimating an unmixing matrix in the independent component model. In the literature, it is often seen rather as an algorithm than an estimator related to a certain objective function, and only recently its statistical properties have been derived. One of the recent findings is that the order, in which the independent components are extracted in practice, has a strong effect on the performance of the estimator. A new reloaded procedure, to ensure that the independent components are extracted in an optimal order, is proposed in one of the articles.

In one of the original articles, new optimal (in Le Cam sense) inference procedures are developed under symmetry assumption of the independent components. The inference procedures are based on signed ranks. Hypothesis tests, estimators and confidence regions are provided, and asymptotical properties are examined.

The independent component model can be formulated in several ways: If the elements of a vector of independent components are permuted or multiplied by nonzero scalars, the vector still has independent components. The comparison of the performances of different unmixing matrix estimates is then difficult as the estimates are for different population quantities. A new natural performance index is suggested in one of the articles. The index is proven to possess several nice properties compared to previously presented indices, and it is easy and fast to compute. Also limiting behavior of the index, as the sample size approaches infinity, is explored.

To demonstrate the use of the new methods in practise, a data example is provided in the last chapter of this thesis.