Beyond Human Sight : adapting an open-source Human Pose Estimation model for physical rehabilitation purposes

Abstract

This thesis examines the use of Human Pose Estimation (HPE) for applications in physical rehabilitation. The aim of the thesis is to investigate how an open source pose estimation model can be adapted to more reliably measure joint movements when a person is viewed in a side profile, especially in seated and supine positions, with the central motivation of improving accessibility to physiotherapy services through digital and automated solutions. The problem addressed is that pre-trained HPE models such as YOLOv11 Pose often lack sufficient generalization capability for individuals in uncommon body postures and camera angles, leading to inadequate accuracy in keypoint detection. The scope of the work is limited to two-dimensional pose estimation and focuses primarily on the lower extremities, as these are central to the assessment of joint mobility in physiotherapy. The thesis describes how a specialized dataset was constructed and consequently how two YOLOv11 Pose models with distinct levels of complexity were trained using transfer learning and fine-tuning methods. The image data was organized and split using a stratified approach to ensure balance across different body postures and orientations. Model performance was evaluated using established metrics and the adapted models were then compared with the performance of their respective base models. The results showed that both adapted models achieved significantly higher accuracy than the base models in side-view scenarios, particularly for keypoints of the legs. The more resource-efficient model also demonstrated higher inference speed with only marginal losses in precision. The conclusion is that it is possible to adapt an open-source HPE model for rehabilitation purposes through targeted data collection and careful training. However, further research is recommended for the development of fully realized applications. The work also demonstrates that similar solutions can serve as a foundation for future remote rehabilitation services, even with limited hardware resources and equipment.

Tämä opinnäytetyö käsittelee HPE-teknologian käyttöä (Human Pose Estimation, ihmisen asennon arviointi) fyysisen kuntoutuksen sovelluksissa. Opinnäytetyön tavoitteena on tutkia, miten avoimen lähdekoodin pose-arviointimallia voidaan mukauttaa mittaamaan nivelten liikkeitä luotettavammin, kun henkilöä kuvataan sivuprofiilista, erityisesti istuma- ja makuuasennossa. Keskeisenä motivaationa on fysioterapiapalveluiden saavutettavuuden parantaminen digitaalisten ja automatisoitujen ratkaisujen avulla. Tutkimusongelma perustuu siihen, että esikoulutetut HPE-mallit kuten YOLOv11 Pose, eivät usein omaa riittävää yleistämiskykyä epätavallisissa kehonasennoissa ja kamerakulmissa, mikä johtaa heikkoon avainpisteiden tunnistustarkkuuteen. Työ on rajattu kaksiulotteiseen pose arviointiin ja keskittyy pääasiassa alaraajoihin, sillä ne ovat keskeisiä nivelten liikelaajuuden mittaamisessa fysioterapiassa. Opinnäytetyössä kuvataan, miten erikoistunut datasetti rakennettiin ja kuinka kahta eri monimutkaisuusastetta edustavaa YOLOv11 Pose -mallia koulutettiin siirto-oppimisen (transfer learning) ja hienosäädön (fine-tuning) menetelmin. Kuvadata järjestettiin ja jaettiin osiin stratifioidulla menetelmällä, jotta eri kehonasentojen ja orientaatioiden välinen tasapaino säilyi. Mallien suorituskykyä arvioitiin vakiintuneilla mittareilla ja mukautettuja malleja verrattiin niiden vastaaviin perusmalleihin. Tulokset osoittavat, että molemmat mukautetut mallit saavuttavat selvästi paremman tarkkuuden kuin perusmallit sivuprofiilikuvissa, erityisesti jalkojen avainpisteiden osalta. Resurssitehokkaampi malli osoitti lisäksi korkeamman arviointinopeuden vain vähäisellä tarkkuuden heikkenemisellä. Johtopäätöksenä voidaan todeta, että avoimen lähdekoodin HPE-malli on mahdollista mukauttaa kuntoutuskäyttöön kohdennetun datankeruun ja huolellisen koulutuksen avulla, mutta jatkotutkimusta suositellaan varsinaisten sovellusten kehittämiseksi. Työ osoittaa myös, että rajallisillakin laitteisto- ja resurssivaatimuksilla vastaavat ratkaisut voivat toimia perustana tulevaisuuden etäkuntoutuspalveluille.

Detta lärdomsprov behandlar Human Pose Estimation (HPE) och dess tillämpningar inom fysisk rehabilitering. Lärdomsprovets syfte är att undersöka hur en pose-estimeringsmodell med öppen källkod kan anpassas för att mer tillförlitligt mäta ledrörelser när en person filmas i sidoprofil, särskilt i sittande och liggande positioner med den centrala motivationen att underlätta tillgängligheten till fysioterapeutiska tjänster genom digitala och automatiserade lösningar. Problemställningen grundar sig i att förtränade HPE-modeller såsom YOLOv11 Pose ofta saknar tillräcklig generaliseringsförmåga för personer i ovanliga kroppsställningar och kameravinklar vilket leder till bristande noggrannhet vid nyckelpunktsdetektion. Arbetet är avgränsat till tvådimensionell pose-estimering och fokuserar främst på nedre extremiteter då dessa är centrala vid mätning av ledrörlighet inom fysioterapi. Lärdomsprovet beskriver hur ett specialanpassat dataset byggdes upp och hur två YOLOv11 Pose-modeller med olika komplexitetsgrad tränades genom överföringsinlärning och finjusteringsmetoden. Bilddatat organiserades och delades upp med en stratifierad metod för att säkerställa balans mellan olika kroppsställningar och orienteringar. Modellernas prestanda utvärderades med etablerade mått och de anpassade modellerna jämfördes med sina respektive basmodellers prestanda. Resultaten visar att båda de anpassade modellerna uppnår avsevärt bättre noggrannhet än basmodellerna i sidovy, särskilt för benens nyckelpunkter. Den mer resurseffektiva modellen uppvisade dessutom högre estimeringshastighet med endast marginell förlust i precision. Slutsatsen är att det är möjligt att anpassa en öppen HPE-modell för rehabiliteringsändamål genom riktad datainsamling och noggrann träning, men vidare forskning rekommenderas för utvecklingen av egentliga applikationer. Arbetet visar även att även med begränsade hårdvaruresurser och utrustning kan liknande lösningar utgöra en grund för framtida distansbaserade rehabiliteringstjänster.