Generating 3D models of glass panels

Abstract

3D-mallien luominen läpinäkyvistä esineistä on merkittävä aihe mallien käytännön sovellusten vuoksi. Tässä opinnäytetyössä 3D-malleja käytettäisiin lasipaneelien pakkaamiseen. Alan aiempi tutkimus on myös melko vähäistä. Opinnäytetyössä esitellään ja tutkitaan lukuisia menetelmiä lasilevyjen 2D- ja 3D-mallien luomiseen.

Menetelmä, joka osoittautui toimivimmaksi 2D-reunamallien luomisessa, oli tietokonenäön käyttäminen ja kuvien käsittely Pythonilla yhdessä OpenCV -tietokonenäkökirjaston kanssa. 2D-reunamallien luominen onnistui pääasiassa muokkaamalla kuvia HSV:llä ja käyttämällä sitten Cannyn reunantunnistusalgoritmia muokattuihin kuviin. Nämä reunamallit muutettiin sitten STL-tiedostomuotoon antamalla niille kuvitteellinen z-koordinaatti matriisilaskennan avulla, jotta ne voitiin tuoda 3D-malleina esimerkiksi robotille.

Lasipaneelien todellisen 3D-mallin luomista tutkittiin analysoimalla valoa, käyttämällä röntgensäteentunnistusta, käyttämällä stereonäköä dispariteettikartan luomiseksi ja tarkistamalla z-koordinaatit robotin sekä lineaarisen asentoanturin avulla. Valokuvioiden analysointi, röntgensäteiden havaitseminen ja z-koordinaattien robottitarkastus ovat vaihtoehtoja, jotka ovat lupaavimpia kehitettäväksi lasin 3D-tunnistusjärjestelmäksi.

Hankkeen budjetti- ja aikarajoitusten vuoksi täydellistä 3D-mallia ei saatu aikaiseksi. Jatkoa ajatellen, T. Yamanaka, F. Sakaue and J. Sato: “Adaptive Image Projection onto Non-planar Screen Using Projector-Camera Systems” -tutkielma on arvokas resurssi valokuvioiden analysoinnin rakentamiseen. OptiTrackin Motive vaikuttaa myös hyvältä järjestelmältä 3D-mallien luomiseen.

Creating 3D models out of transparent objects is a significant subject due to the practical applications of the models. In this project, the purpose was to create 3D models for packaging glass panels. Previous research in the field is rather limited. In this thesis the numerous methods of creating 2D and 3D models of glass panels are introduced and explored.

The method that proved to work the best for creating 2D edge models was using computer vision and processing the images with Python in conjunction with the OpenCV computer vision library. Creating the 2D edge models was mainly achieved by modifying the images in HSV and then using a Canny edge detection algorithm on the modified images. These edge models were then turned into the STL file format by giving them a fictional z-coordinate by using matrix calculations to be able to import them as 3D models to, for example, a robot.

Creating the real 3D model of the glass panels was explored by analysing light, using X-ray detection, using stereovision to create a disparity map and by checking the z-coordinates using a robot and a linear position sensor. The options that have the most potential to be fully developed into a 3D detection system for glass are analysing light patterns, detecting X-rays and robotically checking the z-coordinates.

Due to budgetary and time constraints of the project, a complete 3D model was not achieved. For further research, the paper by T. Yamanaka, F. Sakaue and J. Sato: “Adaptive Image Projection onto Non-planar Screen Using Projector-Camera Systems” is suggested as an in-depth source on light patterns. Motive by OptiTrack is also promising for mapping contours in 3D spaces.