ChatGPT:n suoriutuminen ohjelmoinnin MOOC-kurssissa

Abstract

Tekoälytyökaluista on tullut nopeasti arkipäiväisiä ohjelmoijille ja ohjelmoinnin opiskelijoille. Tämä opinnäytetyö tarkastelee ChatGPT-työkalun suoriutumista Python-ohjelmoinnin alkeita opettavalla Helsingin Yliopiston järjestämällä Ohjelmoinnin perusteet -verkkokurssilla. ChatGPT voi mahdollisesti toimia eräänlaisena kurssien apuopettajana korjaten virheitä, ratkaisten pattitilanteita ja vastaten opiskelijoiden kysymyksiin. Tutkimuksessa tarkasteltiin sitä, kuinka hyvin ChatGPT pärjää kurssin tehtävissä, millaisia virheitä se mahdollisesti tekee, ja mikä merkitys on kurssitehtävien annolla suomeksi ja englanniksi.

ChatGPT:lle annettiin ratkaistavaksi ohjelmointitehtäviä, joiden tulokset arvioitiin verkkokurssiin kuuluvilla testeillä. Tehdyistä tehtävistä ja niistä saaduista pisteistä on Tulokset-osiossa taulukko. Tehtävät annettiin kolmella eri tavalla. Yksinkertaisimmassa tavassa annettiin pelkkä tehtävänanto, toisella lisäksi lyhyt pohjustus, ja kolmannella lisäksi tehtävään liittyvä kurssimateriaali.

ChatGPT sai täydet pisteet valtaosasta tehtäviä. Virheet liittyivät useimmin tilanteisiin, joissa vastausmuotoon liittyi jokin yksityiskohta, joka kävi ilmi kurssimateriaalista tai aiemmista tehtävistä. Melkein kaikki virheet ratkesivat, kun arviointitestien antamat virheilmoitukset syötettiin takaisin ChatGPT:lle.