Remote controlled video processing and serving for the eM/S Salama unmanned surface vessel and its remote operations center
Ståhlström, Peter (2024)
2024
All rights reserved. This publication is copyrighted. You may download, display and print it for Your own personal use. Commercial use is prohibited.
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi:amk-2024061323139
https://urn.fi/URN:NBN:fi:amk-2024061323139
Tiivistelmä
eM/S Salama on Turun ammatikorkeakoulun kehittämä itseohjautuvan merialuksen testialusta. Aluksessa on autonomisen päätöksenteon mahdollistamiseksi kokoelma sensoreita, jotka myös lähettävät dataa etäohjauskeskukseen, jossa henkilöstö valvoo aluksen toimintaa ja lähettää komentoja alukselle.
Työn tavoitteena oli kehittää järjestelmä, joka kerää eri kuvavirtoja alukselle asennetuista kameroista ja tuottaa kompressoidun kuvavirran joka voidaan lähettää aluksen etäohjauskeskukseen rajoitetun verkkoyhteyden kautta.
Kuvavirtojen prosessointi tehtiin avoimen lähdekoodin Gstreamer multimedia alustalla, ja kuvaprosessointiin käytettiin näytönohjaimien videokiihdytystoiminnallisuutta videon muuntamiseen ja transkoodaukseen.
Tuotettu kuvavirta on saatavilla tyypillisen RTSP protokollan kautta ja videoprosessoinnin muuttaminen ja kuvanvalinnan etäohjaus tehdään ROS2-parametripalveluiden avulla.
Työssä kehitettiin yllä mainitun toiminnallisuuden omaava ohjelmisto, jossa käytetään etäohjaus toiminnallisuutta ulos tulevan videovirran sovittaminen eri datalinkkinopeuksille. eM/S Salama is an autonomous sea vessel testing platform developed by Turku University of Applied Sciences. The vessel is equipped with a variety of sensors for onboard autonomous decision making and feeding data to a remote operations center (ROC) where human operators monitor the vessels operations.
The goal of this work was to develop a system for reprocessing video streams from camera sensors mounted on the vessel, for transmission to the ROC over a limited bandwidth data link and give the remote operators the ability to view the produced video stream and control which input is processed and the output quality remotely.
The procedure for video processing was that hardware-accelerated video transcoding and modification was performed using the open-source Gstreamer multimedia framework and the produced video stream was made accessible through a standards-compliant real-time streaming protocol (RTSP) interface.
Remote control of video encoding properties and video selection were performed via the Robot Operating System 2 network already implemented for other systems on the vessel.
The result of this was a system that collects video streams from networked cameras on the vessel and allows a remote operator to use the remote control capabilities to adapt the video stream for different data link speeds.
Työn tavoitteena oli kehittää järjestelmä, joka kerää eri kuvavirtoja alukselle asennetuista kameroista ja tuottaa kompressoidun kuvavirran joka voidaan lähettää aluksen etäohjauskeskukseen rajoitetun verkkoyhteyden kautta.
Kuvavirtojen prosessointi tehtiin avoimen lähdekoodin Gstreamer multimedia alustalla, ja kuvaprosessointiin käytettiin näytönohjaimien videokiihdytystoiminnallisuutta videon muuntamiseen ja transkoodaukseen.
Tuotettu kuvavirta on saatavilla tyypillisen RTSP protokollan kautta ja videoprosessoinnin muuttaminen ja kuvanvalinnan etäohjaus tehdään ROS2-parametripalveluiden avulla.
Työssä kehitettiin yllä mainitun toiminnallisuuden omaava ohjelmisto, jossa käytetään etäohjaus toiminnallisuutta ulos tulevan videovirran sovittaminen eri datalinkkinopeuksille.
The goal of this work was to develop a system for reprocessing video streams from camera sensors mounted on the vessel, for transmission to the ROC over a limited bandwidth data link and give the remote operators the ability to view the produced video stream and control which input is processed and the output quality remotely.
The procedure for video processing was that hardware-accelerated video transcoding and modification was performed using the open-source Gstreamer multimedia framework and the produced video stream was made accessible through a standards-compliant real-time streaming protocol (RTSP) interface.
Remote control of video encoding properties and video selection were performed via the Robot Operating System 2 network already implemented for other systems on the vessel.
The result of this was a system that collects video streams from networked cameras on the vessel and allows a remote operator to use the remote control capabilities to adapt the video stream for different data link speeds.