Effektiv extrahering av ordpar från kundrecensioner : en webbskrapnings- och NLP-baserad metod för sentimentanalys
Seppä, Toivo (2025)
2025
All rights reserved. This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2025052616094
https://urn.fi/URN:NBN:fi:amk-2025052616094
Tiivistelmä
Detta lärdomsprov undersöker hur man effektivt kan extrahera ofta förekommande ordpar (bigrams) från kundrecensioner på nätet genom en kombination av webbskrapning och Natural Language Processing (NLP). Syftet var att utveckla ett program som skrapar recensioner från Trustpilot, lagrar dem i en strukturerad datatabell och bearbetar dem med NLP-tekniker för att identifiera de vanligaste ordparen i positiva och negativa recensioner. Arbetet avgränsades till att använda endast en webbplats och huvudsakligen engelskspråkiga recensioner, för att begränsa komplexiteten.
Materialet bestod av cirka 5000 recensioner från två företag, EasyJet och FlixBus. Webbskrapningen utfördes med Python-biblioteket BeautifulSoup och datan organiserades i en Pandas-tabell. NLP-bearbetningen genomfördes med hjälp av NLTK och inkluderade textnormalisering, tokenisering, borttagning av stop words, lemmatisering samt extrahering av bigrams.
Resultaten visade att programmet effektivt kunde skrapa och analysera recensioner och identifiera frekventa ordpar som "customer service" och "flight delayed". EasyJets recensioner var till största delen negativa, medan FlixBus hade en större andel positiva recensioner. Begränsningar i projektet inkluderade ett snävt urval av källor och språk, vilket påverkade bredden av extraherade data.
De extraherade ordparen kan användas för att förbättra kundservice genom att ge insikter i vanliga kundproblem och som underlag för träning av kundtjänst-chattbotar. Arbetet visar att kombinerad användning av webbskrapning och NLP är ett effektivt sätt för att analysera stora mängder kundfeedback på nätet. This thesis investigates how to effectively extract frequently occurring word pairs (bigrams) from online customer reviews through a combination of web scraping and Natural Language Processing (NLP). The aim was to develop a program that scrapes reviews from Trustpilot, organizes them into a structured data table, and processes them with NLP techniques to identify the most common word pairs in positive and negative reviews. The study was limited to a single review platform and primarily English-language reviews to minimize complexity.
The material consisted of approximately 5000 reviews from two companies, EasyJet and FlixBus. Web scraping was performed using the Python library BeautifulSoup, and the data was organized using Pandas. NLP processing was conducted with NLTK and included text normalization, tokenization, stop word removal, lemmatization, and bigram extraction.
The results showed that the software effectively scraped and analyzed reviews, identifying frequent word pairs such as "customer service" and "flight delayed." EasyJet’s reviews were predominantly negative, whereas FlixBus had a higher proportion of positive reviews. Project limitations included a narrow selection of sources and languages, affecting the breadth of extracted data.
The extracted word pairs can be used to improve customer service by providing insights into common customer issues and can serve as training material for customer service chatbots. The work demonstrates that combining web scraping and NLP is an effective approach for analyzing large volumes of online customer feedback.
Materialet bestod av cirka 5000 recensioner från två företag, EasyJet och FlixBus. Webbskrapningen utfördes med Python-biblioteket BeautifulSoup och datan organiserades i en Pandas-tabell. NLP-bearbetningen genomfördes med hjälp av NLTK och inkluderade textnormalisering, tokenisering, borttagning av stop words, lemmatisering samt extrahering av bigrams.
Resultaten visade att programmet effektivt kunde skrapa och analysera recensioner och identifiera frekventa ordpar som "customer service" och "flight delayed". EasyJets recensioner var till största delen negativa, medan FlixBus hade en större andel positiva recensioner. Begränsningar i projektet inkluderade ett snävt urval av källor och språk, vilket påverkade bredden av extraherade data.
De extraherade ordparen kan användas för att förbättra kundservice genom att ge insikter i vanliga kundproblem och som underlag för träning av kundtjänst-chattbotar. Arbetet visar att kombinerad användning av webbskrapning och NLP är ett effektivt sätt för att analysera stora mängder kundfeedback på nätet.
The material consisted of approximately 5000 reviews from two companies, EasyJet and FlixBus. Web scraping was performed using the Python library BeautifulSoup, and the data was organized using Pandas. NLP processing was conducted with NLTK and included text normalization, tokenization, stop word removal, lemmatization, and bigram extraction.
The results showed that the software effectively scraped and analyzed reviews, identifying frequent word pairs such as "customer service" and "flight delayed." EasyJet’s reviews were predominantly negative, whereas FlixBus had a higher proportion of positive reviews. Project limitations included a narrow selection of sources and languages, affecting the breadth of extracted data.
The extracted word pairs can be used to improve customer service by providing insights into common customer issues and can serve as training material for customer service chatbots. The work demonstrates that combining web scraping and NLP is an effective approach for analyzing large volumes of online customer feedback.