De DIA tool

1. De DIA tool Catherine Middag Ehealth4com symposium 3/10/2013

2. Woord vooraf DIA staat voor Dutch Intelligibilty Assesment DIA tool is nog geen eHealth tool … Het is dus (voorlopig) een evaluatietool waarmee je spraakverstaanbaarheid kan bepalen (zowel perceptueel als automatisch) 2

3. Spraakverstaanbaarheid Spraakverstaanbaarheid is eenbelangrijke indicator van de ernst van eenspraakpathologie: hoe goedkan de pathologischespraak - enkel audio, geengebaren en context – wordengedecodeerd? Klinischepraktijk = perceptuelebeoordeling Perceptuelebeoordeling is saai en wordtbeïnvloed door: Voorspelbaarheid van de test items Testmateriaalontwerpenomditteminimaliseren Vertrouwdheidluisteraar met spreker Steeds met nieuweluisteraarswerken Vertrouwdheidluisteraar met pathologie Luisteraars met verschillendeachtergrondenvragen Kunnen we de computer inschakelenalsalternatieve en objectieveluisteraar? 3

4. Spraakverstaanbaarheid • De computer als alternatief • Computer is per definitie consistent • Maar is hij ook accuraat? • Test case : automatisatie van het Nederlandstalig spraakverstaanbaarheidsonderzoek (NSVO of DIA (Eng.)) dat werd uitgewerkt door UZA

5. Perceptuele DIA test • Per patient: 50 monosyllabische (nonsens)woorden • Korte woorden, nonsenswoorden geringe voorspelbaarheid top

6. Perceptuele DIA test • Per patient: 50 monosyllabische (nonsens)woorden • Korte woorden, nonsenswoorden geringe voorspelbaarheid • Per woord: test van 1 foneem • Verstaanbaarheidsscore = percentage correct geïdentificeerde fonemen top

7. AutomatischeDIA test met spraakherkenner • Woordenlijst: • bop • dop • … • top • … • zop • Automatische spraakherkenner krijgt dezelfde keuzes als luisteraar voorheen • Verstaanbaarheidsscore = percentage correct geïdentificeerde woorden top

8. Automatische DIA test met spraakoplijner # #d d O #p p • Spraakoplijner kent doelwoord en lijnt signaal op met transcriptie ervan: • Elk foneem van het doelwoord krijgt een stukje spraaksignaal toegewezen • Verstaanbaarheid: hoe goed zijn foneemuitspraken gemiddeld? (2 stappen) top

9. Stap 1: sprekerkenmerken afleiden # n y+ s # #d d O #p p 0.6 0.4 0.9 0.6 0.7 0.60.3 0.9 0.7 0.8 • Set 1: fonemischekenmerken • Elk segment krijgteen score tussen 0 en 1 die aangeeft hoe goed het segment beoordeeldwordt door eenmodel van het corresponderendfoneem (modellengetraind op normalespraak) • Per foneem: gemiddelde score over allesegmenten(van de verschillendesprekeruitingen) die aandatfoneemzijntoegekend • Voorbeeld: /d/=0.3 etc. /#/=(0.7+0.6)/2=0.65,

10. Stap 1: sprekerkenmerken afleiden # #d d O #p p # n y+ s back 0.5 0.40.6 0.9 0.3 0.2 voiced 0.1 0.3 0.1 0.9 0.1 0.2 back: 0.9 voiced: 0.6 0.4 0.2 0.1 0.2 0.1 0.7 0.8 0.3 • Set 2: positieve fonologische kenmerken • Elk segment krijgt verschillende scores die aangeven hoe sterk verschillende fonologische kenmerken (b.v. achteraan, stemhebbend, nasaal, …) aanwezig zijn (volgens modellen getraind op normale spraak) • Per fonologisch kenmerk: gemiddelde score over alle segmenten (van de verschillende sprekeruitingen) waarin kenmerk zou moeten aanwezig zijn.

11. Stap 1: sprekerkenmerken afleiden # #d d O #p p # n y+ s back 0.5 0.40.6 0.9 0.3 0.2 voiced 0.1 0.3 0.1 0.9 0.1 0.2 back: 0.3 voiced: 0.2 0.4 0.2 0.1 0.2 0.1 0.7 0.8 0.3 • Set 3: negatieve fonologische kenmerken • Elk segment krijgt scores die aangeven hoe sterk verschillende fonologische kenmerken aanwezig zijn (volgens modellen getraind op normale spraak) • Per fonologisch kenmerk: gemiddeld score over de segmenten (van de verschillende sprekeruitingen) waarin kenmerk zou moeten afwezig zijn.

12. Stap 2: verstaanbaarheidsscore afleiden‏ • verstaanbaarheiduit ASR • fonemischekenmerken • fonologische kenmerken hoe?? • Regressiemodel inclusief automatische selectie van • beste kenmerken • Trainen van model op kenmerken van pathologische • sprekers met gekende verstaanbaarheid verstaanbaarheidsscore top

13. Betrouwbaarheid van automatische score • Mijn onderzoek (SPACE-project): • Correlatie tussen automatische en perceptuele score vergelijkbaar met correlatie tussen scores van verschillende beoordelaars • Afstudeerwerk studente logopedie (UZA): • Klinische setting  suboptimale opnamecondities • Perceptuele score = gemiddelde van 2 luisteraars • Correlatie tussen automatische en perceptuele score vergelijkbaar met correlatie tussen scores van 2 luisteraars • Beide tests bewijzen betrouwbaarheid van de DIA tool

14. Wil je zelf de tool eens uitproberen? • Gratis beschikbaar: http://diaweb.elis.ugent.be • Enkel laptop, headset, internet en Java (gratis) nodig!

15. Online versie van de tool • Registreren is kosteloos, maar nodig om goede afspraken te maken. Overeenkomst (A4-tje) vermeldt: • Therapeut mag tool gratis gebruiken • Onderzoekers mogen opnames gebruiken voor verder onderzoek, maar: • zonder kennis van persoonlijke gegevens over patiënt/ therapeut (enkel leeftijd + gender + pathologie patiënt) • Zonder het recht om opnames te laten horen in het openbaar (enkel korte fragmenten op seminaries etc.) • Therapeut moet akkoord vragen (en krijgen) van patiënt • Account voor 24 uur krijg je zonder overeenkomst

16. Online versie van de tool • Een korte kennismaking

17. Discussie en vooruitzichten • Beperkingen van huidige tool • Meet verstaanbaarheid op basis van losse (nonsens)woorden  kans op leesfouten en scores • Modellen getraind op Vlaamse spraak • Vooruitzichten op korte termijn (begin 2014) • Ook verstaanbaarheid meten op lopende spraak • Ook modellen die getraind zijn op Nederlandse spraak • Ook meten van stemkwaliteit, articulatie, accent en spreeksnelheid • Alles reeds getest (samenwerking met NKI-Amsterdam) maar nog niet in tool opgenomen • Check website!

18. Discussie en vooruitzichten • Beperkingen van huidige tool • Meet verstaanbaarheid op basis van losse (nonsens)woorden  kans op leesfouten • Modellen getraind op Vlaamse spraak • Vooruitzichten op langere termijn (begin 2015) • Evolutie naar echte eHealth tool • Evolutie naar therapietool • Streven naar bredere en diepere analyse • Nieuw project ASISTO (Kom op tegen Kanker, NKI Amsterdam, UZ Antwerpen, ELIS-Ugent)  Brede validatie gepland (belangstellenden?)

19. Vragen?