1 / 10

Hangelemző rendszer fejlesztése Symbian OS-re

Hangelemző rendszer fejlesztése Symbian OS-re. Hegedűs Iván Mihály Pázmány Péter Katolikus Egyetem Információs Technológiai Kar. Emlékeztető.

dieter-tucker
Download Presentation

Hangelemző rendszer fejlesztése Symbian OS-re

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Hangelemző rendszer fejlesztése Symbian OS-re Hegedűs Iván Mihály Pázmány Péter Katolikus Egyetem Információs Technológiai Kar Mérnöki tervezés - 2005. december 15.

  2. Emlékeztető • A célunk siketek számára egy olyan speciális alkalmazás készítése mobil készülékekre, ami beszédhangból közvetlenül egy modellezett száj vagy fej mozgását tudja előállítani. • Első lépések: • Ismerkedés a készülékekkel és Symbian operációs rendszerrel • Stabil fejlesztői környezet kialakítása (SDK) • Kisebb programok készítése futtatása Mérnöki tervezés - 2005. december 15.

  3. Készülékek és korábbi eredmények Telefonok és jellemzőik: • Nokia 7610 és , Sony Ericsson P910 • Symbian OS 7.0s • P910 jobban terhelhető • Nokia 6680: • Symbian OS 8.0 • OpenGL ES támogatás Eredmények: • „Audio input stream” alkalmazás • FFT implementálása Fordítási gondok! Emulátoron működik, készülékre nem fordul? Mérnöki tervezés - 2005. december 15.

  4. Beszédhang elemző rendszer • A felmerült hibákra megoldást kell találni! • Feladatunk újbóli átgondolása (visszalépés) • „Inkrementális fejlesztés” Mérnöki tervezés - 2005. december 15.

  5. Hangszintmérő • Önálló alkalmazás • Egyszerű grafikus megjelenítés • „Van beszéd nincs beszéd” döntéshozó szerep • Átalakítva alapmodulként használjuk a továbbiakban Mérnöki tervezés - 2005. december 15.

  6. Javított FFT modul • Nagy erőforrásigény • Kritikus pontok: • koszinusz tábla tárolása és mérete • „TReal” azaz „double” típus • Megoldások: • Koszinusz tábla: • Statikus vagy dinamikus tömbben tárolása • A tábla méret csökkentése • „TRreal32” azaz „float” típus Mérnöki tervezés - 2005. december 15.

  7. MFCC modul (Mel Frequency Cepstrum Coefficients – MFCC) • Neurális hálózatnak elkészíti a FFT értékeiből számított megfelelő bemenetei jelsorozatot Főbb lépesei: • Hamming ablak • Fast Fourier Transformation (FFT) • Logaritmus • diszkrét koszinusz transzformációt (DCT) • Emulátoron sikeres tesztek • A készüléken még nem képes futni a rendszerünkbe beépített modul Mérnöki tervezés - 2005. december 15.

  8. Neurális háló és PCA Neurális háló: • Mobil készüléken ki kell váltanunk! • Tanítása PC-n történik • A betanított háló szinapszis értékeiből C++ kódot generálunk • Kiértékelő függvény Főkomponens analízis (PCA): • Szintén automatán generált kód • Jelentősége pixelkoordináták kinyerése a neurális háló kapott értékekből • A grafikus felület az itt kapott értékkel kapcsolható rendszerünkhöz Mérnöki tervezés - 2005. december 15.

  9. Összefoglalás • A részmoduljaink többsége kész • A készüléken az előfeldolgozás (MFCC) futtatása a legfontosabb feladat • Emulátoros környezetben már minden adott az első rendszerteszthez További feladataink: • Végtelenítési feladat • Összekapcsolás a grafikus felülettel Mérnöki tervezés - 2005. december 15.

  10. Köszönöm a figyelmet! Mérnöki tervezés - 2005. december 15.

More Related