ChatGPT:n kyky ennustaa A/B-testattujen markkinointitekstien voittajia

Abstract

Tämän opinnäytetyön tavoitteena oli selvittää, pystyykö generatiivisen tekoälyn työkalu, ChatGPT, ennustamaan A/B-testatuista markkinointiteksteistä voittavan vaihtoehdon sosiaalisen median alustoilla ilman erillistä tehtäväkohtaista koulutusta kyseiseen tehtävään. Työssä vertailtiin tekoälyn antamia ennusteita todellisiin testituloksiin ja arvioitiin, voisiko tekoäly toimia perinteisen A/B-testauksen tukena tai vaihtoehtona.

Teoreettinen viitekehys pohjautui siirto-oppimiseen ja zero-shot learning -mallien hyödyntämiseen. Tutkimus toteutettiin määrällisenä analyysina, jossa tekoälyn ennustuskykyä arvioitiin binomijakaumaan perustuvan tilastollisen testauksen avulla.

Empiirisessä osassa analysoitiin 19 onnistunutta A/B-testiä Meta-alustalla, joissa vertailtiin eri markkinointitekstejä keskenään. ChatGPT arvioi kunkin A/B-testin voittavan version ja sen ennusteet vertailtiin toteutuneisiin tuloksiin. Tekoälytyökalu ennusti oikein 14 tapausta 19:stä ja binomitestin perusteella sen suoritus oli tilastollisesti merkitsevästi parempi kuin satunnainen arvaus.

Tekoälyn havaittiin tunnistavan markkinointiviestinnän toimivia elementtejä ja tarjoavan hyödyllistä tukea erityisesti pienille yrityksille, joilla on rajalliset resurssit eikä välttämättä markkinoinnillista osaamista. Vaikka hienosäätämätön tekoäly ei vielä korvaa perinteistä A/B-testausta, se voi täydentää viestinnällistä päätöksentekoa ja nopeuttaa sisällöntuotannon suunnittelua. Työn lopputuloksena luotiin käytännön ohjeistus A/B-testien toteuttamiseen Metan alustoilla sekä järjestelmäpromptimalli, jonka avulla ChatGPT:tä voidaan hyödyntää ennusteiden luomiseen. Molemmat ovat erityisesti yksinyrittäjille sekä mikro- ja pienyrityksille suunniteltuja työkaluja markkinointiviestinnän tueksi. Jatkossa voisi olla perusteltua tutkia, parantaisiko tehtävään hienosäädetyn mallin käyttö ennustetarkkuutta edelleen.

This thesis examined whether the generative AI tool ChatGPT can predict the winning version of A/B-tested marketing texts on social media platforms without task-specific training. The study compared ChatGPT’s predictions with actual A/B test results and evaluated its potential as a support or alternative to traditional A/B testing.

The theoretical framework was based on transfer learning and zero-shot learning. The research used a quantitative approach and applied binomial distribution, based statistical testing to assess predictive accuracy.

The empirical part involved 19 successful A/B tests on the Meta platform, where different marketing texts were compared. ChatGPT predicted the better-performing version in each case and its predictions were compared to the actual outcomes. The model was correct in 14 out of 19 cases, showing statistically significant performance over random guessing.

The findings suggest that AI can help identify effective marketing communication elements and provide support for small businesses with limited resources and little marketing expertise. The thesis resulted in a practical guide for conducting A/B tests on Meta platforms and a system prompt model for generating predictions using ChatGPT. These tools are designed especially for small businesses. Further research could explore whether fine-tuned AI models could enhance prediction accuracy.