Pedagogisk feature engineering : utveckling av ett nybörjarvänligt AutoFE-verktyg

Abstract

Feature engineering (FE) är en avgörande men tidskrävande del av maskininlärning (ML). Verktyg som strävar efter att automatisera denna process kallas AutoFE. Dessa är ofta komplexa, svåra att använda och saknar pedagogiska förklaringar. Syftet med detta lärdomsprov är att identifiera vilka pedagogiska och tekniska aspekter som är avgörande vid utveckling av ett AutoFE-verktyg för nybörjare. Målet var att utveckla EduAutoFE, ett verktyg som fokuserar på att vägleda och att ge pedagogiska förklaringar, snarare än att vara optimerad för prestanda. Den teoretiska bakgrunden består av en litteraturgranskning av ML, FE samt befintliga verktyg såsom FeatureTools och AutoFeat. Verktyget utvecklades i Python och använde sig av en iterativ utvecklingsmetod. Bibliotek som användes var Scikit-learn, Pandas och NumPy. Verktyget använder sig av linjär- och logistisk regression för att utvärdera transformationer. Automatisk problemtypsdetektion och felhantering med kodexempel implementerades för att vägleda användaren. Verktyget testades på fyra dataset: Titanic, Spaceship Titanic, Insurance och California Housing. Verktyget lyckades vägleda användaren genom hela processen, från validering av data till att generera features. Dock visade endast ett dataset en statistiskt signifikant förbättring i jämförelse med baslinjeprestandan. För de övriga tre dataseten föll förbättringarna inom baslinjens naturliga variation och uppvisade inga tydliga tecken på förbättring. De viktigaste pedagogiska aspekterna som identifierades var tydliga feedbackloops samt steg-för-steg-instruktioner genom informativa felmeddelanden. De viktigaste tekniska aspekterna ansågs vara automation av grundläggande val, såsom val av ML-modell, för att minimera kognitiv ansträngning så att användaren kan fokusera mer på inlärning.