AI-Assisted Code Review for Proprietary Programming Languages: A Low-Code Approach

Abstract

Quality assurance through code review is a critical but labor-intensive part of software development. In highly specialized environments, such as proprietary ERP systems, manual reviews are often bottlenecked by limited resources, creating a risk of defective code reaching production. Automating the review process with the help of AI is challenging because proprietary programming languages are low-resource, meaning large language models lack pre-trained knowledge of their unique syntax and rules. This thesis investigates the feasibility of automating code review for a proprietary ERP programming language using generative AI.

Following the Design Science Research Methodology, an AI-assisted code review agent was iteratively designed and developed. The study theoretically compared fine-tuning and Retrieval-Augmented Generation (RAG) to determine the most feasible approach for automating code review. The tool was built on Microsoft Copilot Studio, utilizing RAG to inject domain-specific documentation into the model’s knowledge base. The implementation progressed through three distinct versions, addressing technical hurdles ranging from OCR-based file processing limitations to AI orchestration and sub-tasking. The agent’s performance was evaluated against a custom controlled test dataset containing deliberate syntax, logic, and compliance defects.

In line with the research objectives, results indicate that while the AI agent can successfully identify certain coding defects, its overall reliability is currently insufficient to replace human effort in an automated workflow. The model generated a high rate of false positives and hallucinations and attempted to apply rules from high-resource languages like C or Python. Breaking the review process into smaller sub-tasks improved the detection of compliance violations but simultaneously increased the agent’s tendency to hallucinate non-existent rules. Copilot Studio’s fundamental chatbot-centric architecture presents notable technical trade-offs for deep semantic code analysis. However, the study concludes that with further optimization, the tool shows practical potential as an interactive documentation retrieval or even a code review assistant to reduce the cognitive load of developers.

Ohjelmistokehityksen laadunvarmistus ja vertaisarviointiin perustuva koodin katselmointi ovat kriittisiä, mutta työläitä prosesseja. Räätälöidyissä toiminnanohjausjärjestelmissä (ERP) manuaalinen katselmointi vie paljon aikaa, ja resurssipula luo riskin virheellisen koodin pääsystä tuotantoon. Katselmoinnin automatisointi tekoälyn avulla on haastavaa, sillä suuret kielimallit (LLM) eivät tunne suljettujen ohjelmointikielten syntaksia entuudestaan. Tässä työssä tutkitaan generatiivisen tekoälyn hyödyntämistä suljetun ohjelmointikielen koodin katselmoinnissa.

Tutkimus toteutettiin käyttäen metodologiana suunnittelutiedettä, jossa kehitettiin iteratiivisesti tekoälyavusteinen katselmointityökalu. Tutkimuksessa vertailtiin teoreettisesti hienosäätöä ja RAG:ia, jotta voitiin määrittää soveltuvin menetelmä koodin katselmoinnin automatisointiin. Työkalu rakennettiin Microsoft Copilot Studio -alustalle hyödyntäen RAG-arkkitehtuuria, jonka avulla kielimallille syötettiin toimialakohtaista dokumentaatiota. Toteutus eteni kolmen version kautta, joiden aikana ratkottiin haasteita aina tiedostojen OCR-lukuongelmista tekoälyn orkestrointiin ja tehtävien pilkkomiseen. Työkalun suorituskykyä arvioitiin kustomoidulla testidatalla, joka sisälsi tarkoituksella lisättyjä syntaksi-, logiikka- ja sääntövirheitä.

Työn tavoitteiden mukaisesti tulokset osoittavat, että vaikka tekoälyagentti kykenee tunnistamaan tiettyjä ohjelmointivirheitä, sen luotettavuus ei toistaiseksi riitä korvaamaan ihmisen tekemää työtä. Malli tuotti runsaasti vääriä positiivisia tuloksia ja pyrki soveltamaan yleisten ohjelmointikielten, kuten C:n tai Pythonin sääntöjä. Katselmointitehtävän pilkkominen pienempiin osiin paransi huomattavasti sääntövirheiden tunnistamista, mutta lisäsi samalla mallin taipumusta keksiä olemattomia sääntöjä. Microsoft Copilot Studion selvästi keskustelubotteihin keskittyvä arkkitehtuuri luo merkittäviä kompromisseja syvälliselle koodianalyysille. Tutkimuksen johtopäätöksenä on kuitenkin se, että jatkokehityksellä työkalu osoittaa potentiaalia interaktiivisena dokumentaatioassistenttina tai jopa koodin katselmointiapulaisena, mikä voi vähentää ohjelmistokehittäjien kognitiivista kuormaa.