Application of Data Mining Methods in the Study of Crime Based on International Data Sources

Abstract

Kansainvälisten tietokantojen maakohtaisten rikostilastojen tiedonlouhintaa

Väitöstutkimuksessaan tekijä sovelsi tiedonlouhinnan laskennallisia välineitä kansainvälisistä lähteistä etsimiinsä rikollisuuden tilastotietoihin tehdäkseen vertailevaa tutkimusta eri maiden välillä ja eri vuosien välillä yhdessä maassa, Yhdysvalloissa. Tutkimuksen tekijä keräsi datansa pääosin YK:n tietokannoista sekä Yhdysvaltojen ja Suomen tilastokeskuksen tietokannoista. Modernin yhteiskunnan hyvinvoinnin, vakauden ja kehityksen turvaamiseksi rikollisuuden torjunta ja valvonta ovat polttopisteessä. Rikollisuuden esiintymistä voidaan kuvata useilla tekijöillä eli muuttujilla, jotka eivät useinkaan ole hallintokoneiston, yhteiskunnan tai kansalaisten kontrolloitavissa. Nämä ovat luokiteltavissa kolmeen ryhmään, demografiset, taloudelliset ja historialliset muuttujat. Nämä näyttelevät toisaalta näkyvää ja toisaalta näkymätöntä roolia kuvatessaan rikollisten ilmiöiden maantieteellistä jakaumaa kansainvälisellä tasolla, käsittäessään määrättyjen rikosten piirteitä sekä muodostaen laskennallisen perustan maiden klusterointiin eli ryhmittelyyn, jossa muuttujat määrittävät rikollisuuspiirteiltään keskenään läheiset maat.

Mainitun ryhmittelyn suorittamisessa tiedonlouhinnan menetelmät osoittautuivat hyödyllisiksi. Näitä laskentamenetelmiä on aiemmin sovellettu mitä erilaisimmille datoille, mutta väitöstutkimuksen makrotason eli maakohtaisten rikostilastojen tiedonlouhinta lienee ensimmäisiä alallaan. Tutkimuksen tekijä käytti erityisesti laskentamenetelmää nimeltä itseorganisoituvat kartat ryhmittelyssä, vertailussa ja myös visualisoinnissa. Tekijä selvitti myös demografisten, taloudellisten ja sosiaalisten muuttujien suhteita korrelaatioina rikostilastomuuttujiin nähden eri maissa. Niin ikään hän selvitti itseorganisoituvien karttojen ja muiden tiedonlouhintamenetelmien käyttökelpoisuutta rikollisuuden analysointiin maittain.

Tutkimus kattoi viisi osajulkaisua maakohtaisen datan käsittäessä 22:sta 68:aan erilaista muuttujaa. Kolmessa osajulkaisussa tutkija analysoi tiedonlouhinnalla noin puolen sadan maan joukkoja. Yhdessä osajulkaisussa hän tutki ajallisesti rikollisuuden muutosta Yhdysvalloissa 48 perättäisen vuoden aikana alkaen vuoden 1960 rikostilastoista. Yhdysvalloissa, joista dataa oli saatavissa pitkittäistutkimusta varten, rikollisuus oli lisääntynyt tasaisesti 1990-luvulle asti, jonka jälkeen vaihtelevien syiden takia, kuten rikollisuuden torjunta, rikollisuus on pääosin vähentynyt. Viimeinen osajulkaisu käsitti lähes koko maailman, 181 maata, tiedonlouhintaa erilaisten demografisten, taloudellisten ja sosiaalisten muuttujien suhteesta vain yhteen muuttujaan, henkirikoksiin. Tämä oli kohteena keskeisyytensä vuoksi ja käytännöllisen syyn vuoksi, kun kyseistä tietoa oli saatu YK:n tietokantoihin lähes kaikista maista. Jokin toinen rikollisuuden muoto, esimerkiksi tietoverkkorikokset, ei olisi ollut tällainen.

Väitöstutkimuksen ensimmäinen laaja osuus oli datan eli rikostilastojen keräys ja valikointi em. julkisista tietokannoista. Kunkin osajulkaisun muuttuja- ja maavalikoimaan vaikuttivat rikollisuuteen mahdollisesti tavalla tai toisella liittyvien muuttujien tilastointi ja eri maista saatavilla ollut data sekä Yhdysvalloista erityisesti vuosilta 1960-2007 saatavilla ollut data. Tutkija analysoi tiedonlouhinnan esikäsittelymenetelmin, mitkä muuttujista erottelivat eri maita voidakseen tehokkaasti hyödyntää valitsemiaan muuttujia luokitukseen ja ryhmittelyyn. Tutkimuksessa oli käytössä useita eri luokitusmenetelmiä (algoritmisessa mielessä ohjattua oppimista) yksinkertaisesta lähimmän naapurin etsinnästä tukivektorikoneisiin. Näiden antamia tuloksia tutkija vertasi itseorganisoituvien karttojen (ohjaamatonta oppimista) antamiin voidakseen todeta riittävää yhdenmukaisuutta tulosten välillä, ts. todentaen tulosten mielekkyyden ja oikeellisuuden. Lisäksi hän käytti apuna tilastollisia menetelmiä johtopäätöstensä tueksi.

Tutkimuksen tekijä saattoi todeta itseorganisoituvien karttojen ja muiden tiedonlouhinnassa käytettävien koneoppimismenetelmien soveltuvan hyvin maakohtaisten rikostilastojen tiedonlouhintaan ja analyysiin. Tutkimus kuvasi kiinnostavia tuloksia, maakohtaisia eroja ja samankaltaisuuksia ja hieman yllättäviäkin löydöksiä, kuten lievempien omaisuusrikostyyppien yleisyyden vauraissa maissa ja vähäisyyden monissa köyhissä maissa. Monet maat sijoittuivat ryhmittelyssä odotettavissa olevin maaryhmiin, mutta toisaalta näissä oli myös vaihtelevia eroja. Kiinnostavaa tässä oli luonnollisesti laajimmin tutkittu rikostyyppi, henkirikos ja tämän kanssa korreloivat muuttujat.

The objective of this dissertation is to apply data mining methods in the study of crime based on international data sources. Crime control is fundamental to the welfare, stability and development of modern society. Crime occurs in a composite of surrounding variables, typically uncontrollable by government, society or citizens. These environmental variables can roughly be classified into demographic, economic as well as historical factors, playing visible or mostly invisible roles in shaping geographic distribution of criminal phenomena on the international level, affecting occurrence and features of particular offences within particular jurisdictions, and providing a foundation for clustering relevant countries where there are comparable interaction of these variables in certain internal mechanism. To reveal this internal mechanism, performing crime analysis using data mining and visualization techniques proves to be an intimidating assignment. They have been shown to be functional in a variety of domains but have not been extensively studied for applications in the macroscopic study of crime. The purpose of this dissertation is to apply the data mining methods, centred on the Self-Organizing Map (SOM), in mapping, clustering and comparing criminal phenomena among countries, and in identifying correlations between crime and demographic, economic and other social factors through processing of large amounts of crime data around the world and over history. During this process, the study is aimed at revealing to what extent the SOM, with assistance of other data mining techniques, can be a qualified tool in the study of crime. Studies included in this dissertation, covered different sets of data and adopted different methods. The data sets covered countries from 1 to 181, and variables from 22 to 68. In one study, data were about historical development of 48 successive years, while data in other studies can be thought as static. These data were all processed by the SOM, and these data in four of the studies underwent a process of selecting variables by using a method called ScatterCounter. In validating the final clusters, different methods were employed, selected among k-means clustering, discriminant analysis, k-nearest neighbour classifier, Naive Bayes classification, support vector machines, Kruskal-Wallis test, and Wilcoxon-Mann-Whitney U test. In conclusion, the SOM can be a satisfactory candidate for the macroscopic study of crime, through processing multidimensional data. Incorporating other methods to improve variable selection and classification validation, the results generated by the SOM can provide broad potential for criminological and sociological exploration into social phenomena. In research on multiple countries and multiple crimes, findings have been found partially coincident with conventional study. Roughly defined patterns of crime situation have been found in some countries with some traditionally similar socio-economic conditions. In different groups of countries, different factors may work in different ways. Long-term development patterns of countries affected occurrence of crime. In research on historical development of crime in one single country, the USA, successive years are clustered together in one way or the other with few exceptions. In research on one single type of crime, homicide, it is clear that a string of thinking concerning potential research on what socio-economic factors cause homicide, affecting its occurrence, or its increase or decrease. Consequently, the applicative layer of data mining methods in information sciences has influential prospect in the methodological layer in other disciplines.