Video latency in a vehicle’s remote operating system

Abstract

This thesis report contains information about live video streaming and video latency. Various components of a live streaming system can significantly affect the delay between capturing video on a capture device such as a video camera and transmitting it to a remote display. Research about what these factors are, what kinds of standards and protocols are used with them and how they behave together was conducted. In addition, latency measurement techniques were also researched to determine a method for effective live monitoring and measuring of video latency. The purpose of this thesis was to determine the liability of modern live streaming techniques in remote operation of a vehicle. For this reason, tests regarding video latency were conducted to find out how much end-to-end latency occurred in a remote operation system and how much each component of said system contributed to the latency. The thesis was carried out as part of one of Metropolia’s projects, ROBUSTA. The purpose of ROBUSTA is to research technologies that would enable full remote operation of autonomous buses in the future. As development of traffic laws to introduce automation of vehicles to public roads moves further, safety and functionality of live streaming systems in a remote operation environment will become crucial in developing safe and stable remote operation systems.

Insinöörityössä tutkittiin livestreamausta ja siinä ilmenevää videolatenssia. Videolatenssi tarkoittaa viivettä, joka alkaa kameran videokuvan kaappauksesta ja päättyy videokuvan näkymiseen näyttöpäätteessä reaaliajassa. Videolatenssi aiheutuu useimmiten videon prosessoinnista, ja livestreamausjärjestelmissä useat eri komponentit voivat vaikuttaa videolatenssiin merkittävästi. Työssä suoritettiin tutkimustyötä näihin komponentteihin liittyen. Työn tarkoituksena oli myös selvittää, miten nykypäivän livestreamausteknologia sopi ajoneuvon etähallintaan. Tätä varten tehtiin videolatenssimittauksia, joista selvisivät livestreamausjärjestelmän kokonaislatenssi ja järjestelmän komponenttien yksilölliset osuudet kokonaislatenssista. Työssä ilmeni sekä livestreamauksessa käytettävän laitteiston aiheuttama latenssi että ajoneuvon etähallintaa ja livestreamausta varten käytetyn 4G-mobiiliverkon vaikutus kokonaislatenssiin. Tämän lisäksi työssä tutkittiin eri latenssinmittaustekniikoita, joilla voitaisiin suorittaa mittauksia helposti ja tarkasti. Näitä tekniikoita käytettiin työn aikana latenssimittauksissa. Mittauksissa selvisi, että laitteiston videoprosessointi aiheutti lähes yhtä suuren määrän latenssia kuin mobiiliverkko. Molemmat tekijät kattoivat kokonaislatenssista noin puolet. Koska työssä käytetyn laitteiston prosessointikapasiteetti oli kohtalaisen pieni, mobiiliverkon osuus livestreamausjärjestelmän latenssissa voitiin päätellä merkittävimmäksi, koska mobiiliverkkojen toimintaan on haasteellisempi vaikuttaa. Työ tehtiin osana ammattikorkeakoulun hanketta, jossa tutkitaan ja testataan teknologioita, joita voitaisiin tulevaisuudessa hyödyntää itseohjautuvien bussien etähallintajärjestelmissä. Tieliikennelakeja kehitetään jatkuvasti modernimpaan suuntaan mikä voi mahdollistaa vähintään osittaisen liikenteen automatisoitumisen tulevaisuudessa. Työn tulokset antoivat hankkeelle enemmän tietoa siitä, mihin tekijöihin on kiinnitettävä huomiota, kun on kyse videolatenssista. Hankkeessa on tarkoitus tulevaisuudessa tutkia mobiiliverkkoteknologian toimintaa ja käyttäytymistä etähallintaskenaarioissa. Livestreamausjärjestelmien toimivuus on siis tärkeä osa toimivan ja turvallisen etäohjausjärjestelmän kehittämistä.