Improving Crash Uniqueness Detection in Fuzzy Testing : Case JyvSectec

Abstract

The purpose of fuzzing was defined to send malformed data in order to crash the program under test. Fuzzing has been defined as the most powerful test automation tool for discovering the security critical problems of software. JyvSectec ran into issues during one of the fuzzing sessions. When a program was fuzzed by AFL it indicated many unique crashes. A crash analysis was performed with the use Bash scripts, GDB, SQLite3 and a manual analysis pointed out that there were many almost identical crashes where the backtrace and even parameters were the same or almost same.

The task and objectives were set to replace the Bash script based crash analysis system by Python. One of the tasks before coding the Python program was to code a sample C program to be fuzzed by AFL. The Python program was implemented to carry out some cleanup of GDB outputs and Python program output results to a CSV database. After that, the crash analysis process in JyvSectec would have continued by SQLite3; however, that part of the crash analysis was omitted.

Design research was used with intervention to measure the status before and after the use of the Python program to replace the Bash script based analysis method. Questionnaires were sent to all JyvSectec staff with structured and semi-structured questions.

The results of the intervention were mixed and indicated that satisfaction improved and the amount of manual work needed with the provided Python program decreased. However, separating different crashes remained an issue, and differentiating same or similar crashes and crash categorization were not improved by the intervention and the provided Python program.

Fuzzaus määriteltiin testattavan ohjelman kaatamiseksi viallista dataa käyttäen. Fuzzausta kuvailtiin tehokkaimpana testiautomaatiotyökaluna, jolla ohjelmiston turvallisuuskriittisiä ongelmia voitiin löytää. JyvSectec törmäsi yhdessä AFL-fuzzaustestaustapauksessa ongel-miin työkalun kaatumisten tunnistamisen suhteen. Fuzzattaessa AFL raportoi useita uniikkeja kaatumisia, mutta kun kaatumisia analysoitiin Bash scripteillä, GDBllä, SQLite3llä sekä manuaalisesti, oli uniikkeja kaatumisia vähän. Parametrit sekä niin sanottu GDBn backtrace olivat joko samoja tai lähes samoja, eli kaatumiset eivät olleetkaan uniikkeja toisin kuin AFL-työkalu tunnisti.

Tehtävänä sekä tavoitteena oli korvata Bash-skriptipohjainen kaatumisien analysointijärjetelmä Pythonilla koodatulla ohjelmistolla. Ennen Python ohjelmiston koodaamista C-kielinen sovellus koodattiin ongelman toistamiseksi ja sitä fuzzattin AFL-sovelluksella. Python-ohjelmisto koodattiin siivoamaan GDB-tulosteita duplikaattien tunnistamisen helpottamiseksi. Python-ohjelmistossa luotiin CSV-tietokanta, jota SQLite3-ohjelmisto käytti kaatumisien analysoinnissa. SQLite3-ohjelmistolla tehtävä kaatumisien analysointiosuus rajattiin opinnäytetyön ulkopuolelle.

Kehittämistutkimuksena interventiolla mitattiin tyytyväisyyttä ennen ja Python-ohjelmiston käytön jälkeen. Strukturoituja sekä puolistrukturoituja kysymyksiä sisältävät sähköpostikyselylomakkeet lähetettiin jokaiselle JyvSectecissä.

Tulokset olivat vaihtelevia, sillä tulosten mukaan tyytyväisyys kasvoi ja manuaalisen työn määrä väheni. Kuitenkin eri kaatumisien erottaminen oli yhä ongelma eikä samankaltaisten kaatumisien tai kaatumisien luokittelu parantunut interventiossa.