Face mask wearing detection with neural network

Abstract

Insinöörityön tavoitteena oli kehittää kasvomaskien käytön havainnointiin tarkoitettu ohjelma, jota voitaisiin käyttää COVID-19-pandemian etenemisen monitorointiin. Muita käyttötarkoituksia voisi olla kulunvalvonta esimerkiksi sisätiloissa, joissa on kasvomaskipakko.

Erilaisia toteutustapoja ja valmiita kasvojen havainnointiratkaisuja tutkittiin. Ratkaisuna päädyttiin kouluttamaan uudelleen objektien havaitsemismalli tunnistamaan kasvomaskeja ja maskittomia kasvoja valokuvista. Käytettyjä työkaluja olivat pääasiassa TensorFlow object detection API -rajapinta objektien havaitsemista varten. Muita työkaluja olivat TensorFlow-kirjasto, Jupyter Notebook ja Python-ohjelmointikieli tietoaineiston esikäsittelyyn. Projekti toteutettiin Windows-käyttöjärjestelmällä Anaconda Python -ympäristössä. Käytetty näytönohjain oli Nvidia RTX 2070 Super (8 GB).

Valittu tietoaineisto oli muiden tutkijoiden keräämä FMLD (face mask label dataset) -tietoaineisto, joka sisälsi noin 41 900 valokuvaa. Tietoaineistossa olevat luokat olivat: väärin käytetty kasvomaski, maskiton ja kasvomaski. Koko tietoaineistoa ei pystytty hyödyntämään. Käytetty otos oli noin 93% alkuperäisestä aineistosta. Maskin käytön tunnistusmalli koulutettiin TensorFlow object detection API -rajapintaa käyttäen ja minimitavoitteet saavutettiin. Ensimmäisellä koulutusyrityksellä objektien havaitsemismallin saavuttama keskitarkkuuksien keskiarvo (mean average precision) oli 70.5% mAP käyttäen IoU-kynnysarvoa 0.5. Parannus oli +3.3 prosenttiyksikköä mAP erästä MTCNN-neuroverkkomallia parempi. MTCNN verrokki oli valmiiksi koulutettu kasvojen havaitsemiseen. Ensimmäisellä koulutusyrityksellä yritettiin havaita maskittomat, kasvomaskilliset ja väärin maskia käyttäneet henkilöt. Toisella koulutusyrityksellä, uusia hyperparametreja käyttäen sekä pudottamalla väärin käytetyt kasvomaskit tietoaineistosta, saavutettiin vieläkin parempi tulos. Tällä toisella yrityksellä yritettiin havainnoida ainoastaan maskittomia ja kasvomaskillisia kasvoja. Näin saavutettu keskitarkkuuksien keskiarvo oli 86.4% mAP@IoU=0.5. Näin mitattuna parannus verrattuna MTCNN-verrokkiin oli +19.29 prosenttiyksikköä mAP.

Face mask wearing has been recommended by public health experts (CDC) as a good public health practice since the start of the COVID-19 pandemic already in the spring of 2020. As a result, the purpose of this project was to develop a smart system which can determine if pedestrians are wearing a face mask or not. Use cases could include access control or a monitoring system with a camera in public spaces. A system like this could be installed to grocery store entrances or entry points into public transportation such as train stations or metro stations. In order to monitor mask usage, automated systems should be used. To this end TensorFlow object detection API was used to train an object detector to detect unmasked faces and face masks from images. The TensorFlow library and RTX 2070S GPU (8 GB) were used in training. Scripting was done using Python and Jupyter Notebooks. The Anaconda environment was used for development. The chosen dataset FMLD (face mask label dataset) was downloaded and used. It contained three classes: incorrectly worn mask, unmasked face and face mask. A large subset of 93% was sampled from the total FMLD dataset of 41,900 images.

During the first training attempt, it was attempted to detect unmasked persons, face mask wearers, and incorrectly worn face masks. The face mask wearing detector was successfully trained and tested on the evaluation set. From seeing the received results, the minimum goals were achieved. The achieved mean average precision (mAP) at the IoU threshold of 0.5 was 70.5% mAP. This represents slight improvement of +3.3 percentage points mAP compared to a pre-trained MTCNN face detector.

During the second training attempt with changed hyperparameters and dropping the incorrectly worn masks from the dataset, the obtained performance was even higher. With this second model, only face masks and unmasked faces were being detected. During evaluation, the mean average precision was measured at 86.4% mAP@IoU=0.5. The improvement compared to the baseline MTCNN face detector model was +19.29 percentage points mAP.