PDF-tiedoston sisältämän taulukon muuttaminen käsiteltävään muotoon

Abstract

Insinöörityössä selvitettiin menetelmiä, joiden avulla voidaan muuntaa PDF-tiedoston sisältämä taulukkomuotoinen tieto käsiteltävään muotoon CSV-tiedostoksi. Monet tahot jakavat tietoa PDF-muodossa, mikä tekee tiedon jatkokäsittelystä hankalaa. PDF on lopulliseksi tarkoitettu dokumenttimuoto, jonka tehtävä on säilyttää visuaalinen ulkoasu samanlaisena eri alustoilla. Se ei yleensä sisällä mitään tietoa sisällön rakenteesta ja hierarkiasta. Sen vuoksi sen sisältämää taulukkotietoa ei pysty käsittelemään ilman, että se muunnetaan johonkin toiseen tiedostomuotoon kuten esimerkiksi CSV. Se on tekstitiedosto, jossa data on eroteltu rakenteensa mukaan tietueisiin ja tietueet kenttiin. CSV-muotoon muutettua tietoa pystyy helposti jatkojalostamaan.

Koska PDF-tiedostojen koodaus, taulukoiden ulkoasu ja niiden sisältämä data vaihtelevat huomattavasti, ei voida löytää yhtä muuntomenetelmää, joka sopisi kaikkiin tapauksiin. Lisäksi tilanteet, joissa dataa halutaan käsitellä, vaihtelevat. Insinöörityön tarkoitus oli koota tietoa eri muuntomenetelmien toimivuudesta ja tarjota ratkaisuja erilaisiin tilanteisiin.

Koeaineistoksi valittiin kolme PDF-tiedostoa, joissa olevan monisivuisen taulukon muuntaminen on eri syistä ongelmallista. Testeissä löydettiin viisi menetelmää, joilla useissa tapauksissa pystytään tuottamaan PDF:stä CSV-muoto suoraan ilman välivaiheita. Lisäksi löydettiin erilaisia menetelmiä, joilla taulukko saadaan muutettua välivaiheeksi sopivaan tiedostomuotoon, kuten TXT, Word, Excel ja HTML. Näitä menetelmiä ovat Acrobat Pron keinot kopiointi ja liittäminen sekä vieminen eri tiedostomuodoissa, online-palvelut ja erilaiset muunto-ohjelmat. Useimmilla muuntotavoilla ei saada valmista lopputulosta, joten työssä selvitettiin myös ylimääräisen datan poistoa ja dokumentin muuntoa välivaiheen tiedostomuodoista CSV-muotoon.

Insinöörityössä havaittiin, että hankalimmillaan PDF:n sisältämän taulukon muuntaminen käsiteltävään muotoon on monivaiheinen prosessi, jossa on otettava huomioon erilaisia muunto-ohjelman, PDF:n, taulukon ja sen sisältämän datan ominaisuuksia sekä muiden ohjelmien ja järjestelmän asetuksia.

The objective of this thesis was to study methods that can be used to convert a data table in a PDF file into the CSV format. The reason for this was that data is often published in the PDF format, which makes it difficult to process data. The PDF is a document format that maintains the same visual appearance on different platforms. It usually does not contain any information about the structure and hierarchy of content. Therefore, table data contained in the PDF cannot be processed without being converted into another format such as CSV. CSV is a text format in which data is separated into records and the records are separated into fields with a delimiter. In the CSV format the data can be easily processed.

The substantial variance in the coding of PDFs, the layout of the tables, and the data in the tables makes it impossible to find a conversion method that would suit all cases. In addition, the situations in which data processing is needed vary. On the grounds of these issues, the purpose of this thesis was to gather information on the functionality of the various conversion methods and to provide solutions to different situations.

For testing material three different PDFs were chosen all containing a table that extends over several pages. In the tests five methods were found with which it is possible to convert the PDF directly into the CSV format in many cases. In addition, a number of methods were also identified that can be used to convert the PDF into formats such as TXT, Excel, Word, and HTML that can be used as phase formats from which the CSV format can be made. These methods include copy-and-paste and exporting files from Acrobat Pro to various formats, online services and different conversion programs. Because most conversion methods are not capable of producing a result that could be considered final, the thesis also discussed cleaning the data and converting the document from a phase format into the CSV format.

This thesis demonstrates that converting the data table in a PDF file into a usable data format can be a tedious multiphase process in which one must take into account the various features of the conversion program, PDF, table and data in it, and the settings of other programs and the system.