Intelligent Tutoring System with Personalized Student Models: Impact of Grading on Student Modelling

Abstract

This thesis addresses a significant challenge in the field of educational technology: the impact of grading on artificial intelligence (AI)-assisted learning and teaching systems. The core problem revolves around the assumption that student performance data conforms to a normal distribution, which may not always be accurate. This assumption can affect the performance of AI-based components in Intelligent Tutoring Systems (ITS), particularly those designed to predict student performance and task difficulty.

To tackle this issue, the study explores various machine learning methods that can be employed to develop advanced educational systems capable of providing personalized student assessments. The primary objective was to create a system that accurately predicts student performance and offers tailored feedback, thus enhancing the overall learning experience.

The research methodology employed in this study is a statistical case study focusing on the grading patterns of students. A key aspect of the research was to examine the deviation of students' test responses from the normal distribution, which is often assumed in educational research. The D'Agostino K2 test, a statistical test for normality, was utilized to evaluate this deviation. The findings revealed a significant deviation from normality in the grading patterns of a sample of 77 students, with 83% of the task-specific grades showing non-normal distribution characteristics.

These results highlight a critical flaw in the assumption of normal distribution for grading, suggesting that such an assumption can lead to inaccuracies in AI-based predictions of student performance. To address this, the study proposes a novel approach: dividing the prediction and evaluation tasks across multiple AI models. By doing so, the system can provide more accurate and explainable assessments, improving its utility for both educators and students.

The proposed Intelligent Tutoring System design incorporates these findings to enhance the accuracy and effectiveness of AI-based educational tools. The system is designed to offer personalized feedback and instant correction during the learning process, addressing a common challenge in education where limited teaching resources hinder the ability to provide immediate and individualized feedback.

The research contributes to the broader DigiVision 2030 project, which aims to develop efficient learning platforms and services. This project seeks to leverage AI and machine learning to create educational tools that can adapt to individual student needs, thereby improving learning outcomes and making education more accessible and effective.

In conclusion, this thesis presents a comprehensive study on the application of machine learning in educational systems, highlighting the importance of accurate data assumptions in AI model performance in ITS’s. The findings and proposed solutions have the potential to significantly enhance the functionality of Intelligent Tutoring Systems, offering a more personalized and effective learning experience for students. The study not only addresses the immediate problem of grading assumptions but also lays the groundwork for future research and development in AIassisted education.

Tämä diplomityö käsittelee merkittävää haastetta opetusteknologian alalla: arvosanojen vaikutusta tekoäly (AI) -avusteisiin oppimis- ja opetusjärjestelmiin. Keskeinen ongelma liittyy olettamukseen, että opiskelijoiden suoritusdata noudattaa normaalijakaumaa, mikä ei aina pidä paikkaansa. Tämä olettamus voi vaikuttaa AI-pohjaisten komponenttien suorituskykyyn älykkäissä tutorijärjestelmissä (ITS), erityisesti niissä, jotka on suunniteltu ennustamaan opiskelijoiden suoriutumista ja tehtävien vaikeustasoa.

Ongelman ratkaisemiseksi tutkimuksessa tarkasteltiin erilaisia koneoppimismenetelmiä, joita voidaan hyödyntää kehitettäessä edistyneitä opetusteknologiajärjestelmiä, jotka pystyvät tarjoamaan henkilökohtaisia arviointeja opiskelijoille. Tutkimuksen päätavoitteena oli luoda järjestelmä, joka ennustaa tarkasti opiskelijoiden suoriutumisen ja tarjoaa yksilöllistä palautetta, parantaen siten kokonaisvaltaista oppimiskokemusta.

Tutkimusmenetelmänä käytettiin tilastollista tapaustutkimusta, joka keskittyi opiskelijoiden arvosanojen jakautumiseen. Keskeinen osa tutkimusta oli selvittää opiskelijoiden koevastausten poikkeama normaalijakaumasta, joka on yleinen oletus opetustutkimuksissa. Normaalijakauman arvioimiseen käytettiin D'Agostinon K2-testiä. Tulokset osoittivat merkittävää poikkeamaa normaalijakaumasta, kun tutkittiin 77 opiskelijan arvosanoja, ja 83% tehtäväkohtaisista arvosanoista osoitti ei-normaalijakautumisen piirteitä.

Nämä tulokset tuovat esiin kriittisen puutteen normaalijakauman oletuksessa arvosanojen osalta, mikä voi johtaa epätarkkuuksiin AI-pohjaisissa ennusteissa opiskelijoiden suoriutumisesta. Tämän ongelman ratkaisemiseksi tutkimus ehdottaa uutta lähestymistapaa: ennuste- ja arviointitehtävien jakamista useiden AI-mallien kesken. Näin järjestelmä pystyy tarjoamaan tarkempia ja selkeämpiä arvioita, parantaen sen käyttökelpoisuutta ja sekä opettajille että opiskelijoille.

Tutkimuksen ehdottama älykäs tutorijärjestelmä hyödyntää näitä havaintoja parantaakseen AI-pohjaisten opetustyökalujen tarkkuutta ja tehokkuutta. Järjestelmä on suunniteltu tarjoamaan henkilökohtaista palautetta ja välitöntä korjausta oppimisprosessin aikana, vastaten haasteeseen, jossa rajoitetut opetukselliset resurssit vaikeuttavat välittömän ja yksilöllisen palautteen antamista.

Tutkimus edistää laajempaa DigiVisio 2030 -projektia, jonka tavoitteena on kehittää tehokkaita oppimisalustoja ja -palveluita. Tämä projekti pyrkii hyödyntämään AI ja koneoppimista luodakseen opetustyökaluja, jotka voivat mukautua yksilöllisiin oppimistarpeisiin, parantaen oppimistuloksia ja tehden koulutuksesta saavutettavampaa ja tehokkaampaa.

Yhteenvetona tämä diplomityö esittelee kattavan tutkimuksen koneoppimisen soveltamisesta opetusteknologiaan, korostaen tarkkojen dataoletusten merkitystä AI-mallien suorituskyvylle älykkäissä tutorijärjestelmissä. Tulokset ja ehdotetut ratkaisut voivat merkittävästi parantaa älykkäiden tutorijärjestelmien toiminnallisuutta, tarjoten henkilökohtaisempaa ja tehokkaampaa oppimiskokemusta opiskelijoille. Tutkimus ei ainoastaan käsittele välitöntä arvosanaoletusten ongelmaa, vaan myös luo pohjaa tulevalle tutkimukselle ja kehitykselle AI-avusteisessa opetuksessa.