Real-time object detection on edge devices

Abstract

Työn tavoitteena oli tutkia eri olemassa olevien reunalaskentalaitteiden suorituskykyä huippuluokan kohteentunnistusmalleilla. Kolme laitetta eri valmistajien reunalaskentakiihdyttimillä valittiin vertailuun, joita olivat NVIDIAn Jetson Nano integroidulla näytönohjaimella, Raspberry Pi 4 B Intelin Neural Compute Stick 2:lla ja Axis Q1615-LE Mk III turvakamera Googlen EdgeTPU:lla.

Viive- ja tarkkuustestit suoritettiin jokaiselle laitteelle, jonka lisäksi järjestelmän suorituskykyä, kuten virrankulutusta ja käyttöastetta, mitattiin Jetson Nanolle sekä Raspberry Pi:lle. Vertailuun valittavat kohteentunnistusmallit olivat SSD-MobileNet-V2, YoloX ja EfficientDet, jotka kaikki edustavat alan viimeisintä kehitystä.

Testeissä vain Jetson Nanon todettiin pystyvän ajamaan YoloX- ja EfficientDet-malleja. Nopein suorituskyky saavutettiin käyttämällä EdgeTPU-kiihdytintä, jolla pystyttiin prosessoimaan kuvia jopa 8 ms viiveellä, kun taas Jetson Nano ja Neural Compute Stick 2 vastaavasti vaativat 33 ja 48 ms prosessointia kuvaa kohden. Kvantisoinnista huolimatta, myös tarkkuus pysyi hyvällä tasolla (> 90 %) jokaisella mallilla.

Johtopäätöksenä pystyttiin toteamaan, että kaikki laitteet suoriutuvat reaaliaikaisesta kohteentunnistuksesta erinomaisesti. Koska laitteet erosivat kokoluokaltaan, liitännöiltään sekä laskentayksiköiltään, laitteita voidaan soveltaa eri käyttötarkoituksissa. Parannuksia suorituskykyyn saataisiin profiloimalla malleja, jolloin voitaisiin löytää mahdolliset pullonkaulat.

The goal of this thesis was to research the performance of existing edge devices on state-of-art object detection models. Three different devices, with edge computing accelerators from different manufacturers, were chosen, namely NVIDIA Jetson Nano with integrated GPU, Raspberry Pi 4 B with Intel Neural Compute Stick 2, and Axis Q1615-LE Mk III security camera with Google EdgeTPU.

Latency and accuracy tests were performed for all devices, and in addition systems performance measurements, such as power consumption and utilization, were done for the Jetson Nano and Raspberry Pi. The object detection models chosen for the comparison were SSD-MobileNet-V2, YoloX, and EfficientDet, which all represent the latest advances in the field.

In the tests, only Jetson Nano was found capable of running YoloX and EfficientDet models. The fastest performance was achieved by the EdgeTPU, with only 8 ms of processing per image, while Jetson Nano and Neural Compute Stick 2 took 33 and 48 ms per image processed respectively. All the models also remained a good accuracy (> 90 %) post-conversion despite quantization.

In conclusion, all devices proved to be capable of object detection in real-time. As the devices had different form factors, connectivity, and computational units, different use cases can be applied for each device. Further performance improvements could be made by profiling the models to discover potential bottlenecks.