Fuzzing

1. Fuzzing (automatizált sérülékenység felderítés) Előadók: Barta Csaba Major Marcell

2. Tartalom • Definíció és egyszerű példák • Történeti áttekintés • Hol állunk most? • Saját fejlesztésű eszközök • Eredmények

3. 7C801000 ADC EAX,5D7C91A4 7C801005 FICOM DWORD PTR DS:[EAX+90D6827C] 7C80100B JL SHORT kernel32.7C800FE1 7C80100D ADD EAX,43D7C91 7C801012 XCHG EAX,ECX 7C801013 JL SHORT kernel32.7C801012 7C801015 FCOM QWORD PTR DS:[EAX+90DFDC7C] 7C80101B JL SHORT kernel32.7C800FA5 7C80101D FIST WORD PTR DS:[EAX+937C287C] 7C801023 JL SHORT kernel32.7C801066 7C801025 LOOPDE SHORT kernel32.7C800FB7 7C801027 JL SHORT <&ntdll.NlsMbCodePageTag> 7C801029 IN EAX,90 7C80102B JL SHORT kernel32.7C801017 7C80102D OUT 90,AL 7C80102F JL SHORT kernel32.7C80100A 7C801031 IN EAX,90 7C801033 JL SHORT kernel32.7C800FD6 7C801035 XOR DL,BYTE PTR DS:[ECX+90D8E37C] 7C80103B JL SHORT kernel32.7C800FC3 7C80103D AAD 90 7C80103F JL SHORT kernel32.7C801017 7C801041 ADC DL,BYTE PTR DS:[EAX+92AE7E7C] 7C801047 JL SHORT kernel32.7C80101B 7C801049 XCHG EAX,ECX 7C80104B JL SHORT kernel32.7C8010A7 7C80104D ADD EDX,DWORD PTR DS:[ECX+9701067C] 7C801053 JL SHORT kernel32.7C80108F 7C801055 AND EAX,E1FE7C90 7C80105A NOP 7C80105B JL SHORT kernel32.7C801099 7C80105D FST QWORD PTR DS:[EAX+90D9F47C] 7C801063 JL SHORT kernel32.7C801021 7C801065 OUT 90,EAX 7C801067 JL SHORT kernel32.7C80103F 7C801069 SALC 7C80106A NOP 7C80106B JL SHORT kernel32.7C8010AA 7C80106D STI 7C80106E NOP 7C80106F JL SHORT kernel32.7C8010E7 7C801071 OR DWORD PTR DS:[ECX+933C777C],EDX 7C801077 JL SHORT <&ntdll.NtCreateFile> 7C801079 OR DL,BYTE PTR DS:[ECX+9130C67C] 7C80107F JL SHORT <&ntdll.CsrClientCallServer> 7C801081 FCOM QWORD PTR SS:[EBP+97C0107C] 7C801087 JL SHORT kernel32.7C8010D5 7C801089 LOCK NOP 7C80108B JL SHORT kernel32.7C801026 7C80108D ADC DL,BYTE PTR DS:[EAX+9135917C] 7C801093 JL SHORT kernel32.7C80101F 7C801095 INC EDI 7C801096 XCHG EAX,ECX 7C801097 JL SHORT kernel32.7C8010E3 7C801099 ADC DL,BYTE PTR DS:[EDX+92ED497C] 7C80109F JL SHORT kernel32.7C801031 7C8010A1 CMP BYTE PTR DS:[ECX+9141B17C],DL 7C8010A7 JL SHORT <&ntdll.RtlEqualUnicodeString> 7C8010A9 INC EBX 7C8010A9 INC EBX 7C8010AA XCHG EAX,ECX 7C8010AB JL SHORT <&ntdll.RtlTimeToTimeFields> 7C8010AD LOOPDNE SHORT kernel32.7C80103F Egy kis assembly…

4. Definíció és egyszerű példák

5. Mi is a „Fuzzing”? - Rövid definíció Fuzzing: Szoftvertesztelési módszer, amely a bemenetek folyamatos változtatásával vizsgálja, hogy a szoftver mennyire van felkészítve a „nem várt” adatok kezelésére. Alapvetően BlackBox jellegű megközelítés (csak a bemenetek helye és típusa ismert).

6. Hogyan működik: példa BMP formátum: header mezők Header mérete BMP fájl méret Bitmap start offset Szélesség Magasság • Egyszerű teszt esetek unsigned int-re: • 0xFFFFFFFF • 0x00000000 • Érték +/- 1

7. Hogyan működik: példa HTTP válasz mezők HTTP/1.0 200 OK Expires: Fri, 12 Sep 2008 07:48:43 GMT Cache-Control: max-age=400 Content-Type: application/x-shockwave-flash Accept-Ranges: bytes Last-Modified: Thu, 29 May 2008 11:39:19 GMT Content-Length: 66079 Date: Fri, 12 Sep 2008 07:42:03 GMT Server: lighttpd/1.4.13 Age: 1 … Connection: keep-alive Tartalom típusa Tartalom méret • Egyszerű teszt esetek stringre: • Üres (\0) • AAAAA x 65534 • %08x.%08x.%08x.%08x.%08x

8. Teszteset generálási módszerek • Előre generált teszteseteket • PROTOS Test Suite • Véletlenszerűen generált tesztesetek • /dev/urandom • Mutációs eljárással generált tesztesetek • Az eredeti (működő) bemenet véletlenszerű módosítása • Séma, vagy leírás alapján generált teszteseteket • Valamilyen leírónyelv alapján generált tesztesetek • Evolúciós megközelítés • Genetikus algoritmus, populáció:tesztesetek

9. Rövid történeti áttekintés 1989 • Fuzzing születése : Barton Miller professzor (University of Wisconsin-Madison) operációs rendszerek és alkalmazások automatikus tesztelése 1999 • PROTOS Test Suite (University of Oulu) megjelenése 2002 • A Microsoft támogatást ad a PROTOS fejlesztőinek • SPIKE (David Aitel) megjelenése (nyílt forráskódú projekt)

10. SPIKE Blokk alapú megközelítés • Konstans/változó • Típus • Hossz értékek automatikusak s_binary_block_size_halfword_bigendian_variable("connectpacket"); s_block_start("connectpacket"); s_binary("01 02 03 04"); s_block_end("connectpacket"); 0x04 0x01 02 03 04

11. Rövid történeti áttekintés/2 2003 • A PROTOS fejlesztői elindítják az első ismert kereskedelmi fuzzer eszköz (DEFENSICS Test Suites) fejlesztését a Codenomicon cég berkein belül 2005 • Több eszköz is napvilágot lát • FileFuzz • SPIKEFile • notSPIKEFile

12. FileFuzz

13. Rövid történeti áttekintés/3 2006 • ActiveX fuzzerek megjelenése • COMRaider (David Zimmer) • AxMan (H.D. Moore) • BH 2006 - Sidewinder (Embleton, Sparks, Cunningham) - Evolúciós megközelítés: a fuzzer tanulhat a múltbeli inputokból, code-coverage -> fitness • – az eredményeket nem publikálták • BH2006 – Win32 IPC fuzzer(Jesse Burns) 2007 • BH2007 – Grey-box testing (Demott, J., Enbody, R., Punch, W.) Genetikus algoritmus, forráskód nélkül -> pstalker • BH2007 –Fuzzbox (David Thiel) – médiafurmátum fuzzer

14. COMRaider

15. Mire használható • A bemenetek ellenőrzéséért, kezeléséért és feldolgozásáért felelős kódrészletek hibáinak felderítésére • API • Kommunikációs protokoll • Webalkalmazás (SQL injekció) Alkalmazás Felhasználóibemenet Bemenet ellenőrzés Feldolgozás Adatbázis kezelő

16. Mire használható/2 • Az olyan kimeneteket előállító kódrészletek tesztelésére, amelyekben megjelenik, vagy valamilyen módon felhasználódik a bemenet • Webalkalmazás (XSS) Alkalmazás Felhasználóibemenet Bemenet ellenőrzés Feldolgozás Kimenet Hálózati komm. Kimenet előállítás

17. Mire használható/3 • Fuzzer által „észrevett” hibák lehetnek: • Buffer overflow • Integer overflow • Format string sérülékenység • Memóriakezelési hibák(pl.: ellenőrizetlen allokáció) • XSS, SQL injekció • DoS (végtelen ciklus)

18. Mire nem használható A fuzzer nem ismeri a célpont logikai felépítését és működését, emiatt nem alkalmas többek között: • A logikailag rossz működés felismerésére (pl.: rossz oldal jelenik meg a web alkalmazásban) • Az olyan funkciók felismerésére, amelyeket a program rendeltetésszerű használata során nem hív meg a felhasználó (backdoor) • A hozzáférés ellenőrzési rendszer hibás működésének felismerésére

19. Fuzzer keretrendszerek • Előnyei • Általános megoldás • Többféle célpont ellen bevethető • Bővíthető • Újrafelhasználható elemeket biztosít • Hátrányai • Mindig létezik olyan célpont amelyhez nem használható • Speciális ellenőrző kódok

20. Fuzzer keretrendszerek/2 • Peach • GUI • Python • Moduláris (generator, transformer, publisher) • COM/DCOM, RPC támogatás • Fusil the fuzzer • Python library • Process indítás (memória, körny. változók) • Kliens/szerver architektúra • Figyeli a tesztelt program állapotát

21. Peach

22. Hol állunk most?

23. Csoportosítás a célpont és fuzzer helye szerint • Lokális • Állományformátum fuzzerek • Parancssor (commandline) fuzzerek • Környezeti változó fuzzerek • Távoli • Protokoll fuzzerek • Kiszolgáló és kliens alkalmazás fuzzerek • Memóriarezidens (programkód módosításon alapuló) megoldások • Bemenet-módosító ciklus beszúrás • Pillanatkép készítés és visszaállítás

24. Bemenetet módosító ciklus beszúrás

25. Bemenetet módosító ciklus beszúrás

26. Bemenetet módosító ciklus beszúrás

27. Pillanatkép készítés és visszaállítás

28. Pillanatkép készítés és visszaállítás

29. Pillanatkép készítés és visszaállítás Breakpoint kezelés Kivétel kezelés

30. Egy jó fuzzer-rel szemben támasztott követelmények • Reprodukálhatóság • A tesztesetek bármikor megismételhetőek • Újra felhasználhatóság • A legenerált tesztesetek, vagy az azokat generáló kód más célpont ellen is felhasználható • Dokumentálhatóság • A tesztesetek bevitelekor keletkező hibák, illetve azok körülményeinek minél részletesebb dokumentálása • Magának a fuzzer-nek a részletes dokumentációja • Hibadetektálás!!! • A tesztesetek bevitelekor keletkező hibák detektálása, esetleg automatikus vizsgálata • Flexibilitás és bővíhetőség • Bővítmények készítésének és használatának lehetősége • Részletes, sok részletre kiterjedő konfigurálhatóság

31. Hibadetektálás

32. Hibadetektálás/2 • Talán a legfontosabb követelmény • Automatizált esetben nem hagyatkozhatunk az emberi logikára • A fuzzer-nek kell felismerni a hiba előfordulását • Folyamatos, ciklikus ellenőrzésekre van szükség

33. Hibadetektálás/3Egyszerű megoldások • Naplóállomány, eseménynapló figyelés • „Polling” (hálózati esetekben) [folyamatos csatlakozási próbálkozások]

34. Hibadetektálás/4Egyszerű megoldások • Futó folyamatok listájának figyelése

35. Hibadetektálás/5Egyszerű megoldások • Megjelenő dialógusablakok figyelése

36. Hibadetektálás/6Egyszerű megoldások • Jellemző hibajelentő (bug reporting) folyamatok figyelése

37. Hibadetektálás/7Egyszerű megoldások • Külső debugger használata

38. Hibadetektálás/8Bonyolultabb megoldások • Beépített debugger használata (állandó kivétel figyelés, és kezelés / Windows Debugging API, PTrace/) • Fuzzertracking (a célpont nyomon követése assembly szinten) • utasítás, ciklus, függvény, vagy eljárás meghívásának figyelése, naplózása • Dynamic Binary Instrumentation használata • Valgrind, PIN

39. Saját fejlesztésű eszközök FuzzIT BrowserWave

40. Saját fejlesztésű eszközök FuzzIT • Állományformátum fuzzer BrowserWave • Böngésző fuzzer

41. FuzzIT • Besorolás • Lokális, állományformátum fuzzer • Teszteset generálási módszer • Séma, vagy leírás alapján generált tesztesetek • Programozási nyelv • Perl • Platformok • Microsoft Windows • Linux • XML alapú leírónyelv az állományformátumokhoz • Kezelt adatreprezentációk (encoder és decoder plugin-ek) • Formátumleírásba ágyazható kódrészletek • Egyszerű parancssori kezelhetőség

42. FuzzIT/2 Generálás közben meghívott kód

43. FuzzIT/3 DEMO

44. BrowserWave Besorolás • Távoli, kiszolgáló/kliens alkalmazás fuzzer Teszteset generálási módszer (pluginek) • Séma, vagy leírás alapján generált tesztesetek • Véletlenszerű tesztesetek • Mutáción alapuló teszteset generálás Programozási nyelv(ek) • Perl • Python • C#

45. BrowserWave/2Architektúra

46. BrowserWave/3Platformok Szerver • Microsoft Windows • Linux Kliens • Microsoft Windows (elsődleges platform) • Microsoft Windows Mobile (5,6) • Linux

47. BrowserWave/4Fontosabb tulajdonságok • Pluginekkel bővíthető (perl) • Hibadetektálás • Folyamat és folyamatlista figyelés • Beépített debugger (Python) • Dialógusablakok figyelés • Jellemző hibajelentő (bugreporting) folyamatok indulásának figyelése • Dokumentálás • Szerver, kliens, debugger (crash) naplók • Futás után a legenerált tesztesetek és naplók tömörítése

48. BrowserWave/5 FuzzIT modul meghívása HTML generálás

49. BrowserWave/6„Támogatott” böngészők • Microsoft Internet Explorer (6,7, Mobile) • Mozilla Firefox (2,3, Minimo) • Opera, (Windows, Linux, Windows Mobile) • Apple Safari • Maxthon Browser (1,2) • KDE Konqueror • Gnome Epiphany • Google Chrome

50. BrowserWave/7 DEMO