1 / 29

Un PDA Multimodal…

. Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII. . Projet Technique Equipe : Elisabeth Kraut Charlène Orange Philippe Longin Thierry Beyle Serge Cesarano Daniel Moreno. .

asha
Download Presentation

Un PDA Multimodal…

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Projet Technique Un PDA multimodal au service des situation de handicap…DESS HANDIUniversité Paris XIII

  2. Projet Technique Equipe :Elisabeth KrautCharlène OrangePhilippe LonginThierry BeyleSerge CesaranoDaniel Moreno

  3. Projet Technique Plan1-Présentation du Projet2-Lanceur d’applications3-Un bloc Note vocal 4-La commande vocale 5-Conclusion

  4. Bloc Notes Lanceur d'applications Agenda Vocal  Un PDA Multimodal…

  5. Un PDA Multimodal… Analyse des besoins Interrogation au préalable des futurs utilisateurs du PDA • rPublic concerné : • oDéficients visuels (fédération nationale des Aveugles), • oTrisomiques (Association FAIT 21)

  6. Un PDA Multimodal… Le Lanceur d’applicationsDESS HANDIUniversité Paris XIII

  7. Le Lanceur d’applications Ok Par  P1 P2 P3 P4 3B B2 B4 B1 ZONE DE TEXTE INF ENTRÉE • Ecran tactile, zones P1 à P4 • Boutons de l’appareil, B1 à B4 • Flèches de direction du Pad • Molette redondante avec les flèches hautes et basses • Module de reconnaissance d’empreintes vocales

  8. Le Lanceur d’applications Ok Par  P1 P2 P3 P4 3B B2 B4 B1 ZONE DE TEXTE INF SORTIE Utilisation de messages vocaux préenregistrés Positionnement d’un « focus » visuel sur la zone sélectionnée : encadrement, clignotement, inversion vidéo Affichage de la définition de la zone pointée dans la zone de texte gros caractères

  10. Un PDA Multimodal… Le bloc notes VocalDESS HANDIUniversité Paris XIII

  11. Bloc Notes de Windows CE  Le Bloc Notes Vocal Objet • Définition du bloc notes • L’existant • Windows CE • VoiceMate

  12. Le Bloc Notes Vocal  Interfaces Utilisées • Interfaces d’entrées • Boutons • Commande vocale • Ecran tactile

  13. Le Bloc Notes Vocal Interfaces Utilisées • Interfaces de sorties • Haut Parleur • Ecran

  14. Le Bloc Notes Vocal Principes Ergonomiques • La Vocalisation oFeedBackVocalisation des menus Vocalisation de déplacement FeedBack Ouverture de fenêtre oRépétition vocale oSituation en cours

  15. Le Bloc Notes Vocal Principes Ergonomiques • Interface clavier / Emulation de touche • Tabulation / Maj Tabulation • Flèches • Valider / Entrer • Principe de fonctionnement Windows

  16. - + Le Bloc Notes Vocal Principes Ergonomiques • Paramétrage oSonore (Augmenter / Diminuer, Actif / Silence) oAffichage (Couleur / Contraste…)

  17. Le Bloc Notes Vocal Fonctionnalités R Ecouter / Pause • Avancer / Reculer • Piste suivante / Piste précédente R Enregistrer / Arrêter Enregistrement R Sauvegarder (Donner un nom, placer dans un dossier) R Créer un dossier R Rechercher R Effacer / Renommer

  18. Le Bloc Notes Vocal Perspectives et Conclusion Conclusion / Perspectives

  19. Un PDA Multimodal… La Commande VocaleDESS HANDIUniversité Paris XIII

  20. La Commande Vocale Introduction • INTERFACE D’Entrée: oCommande Vocale • qui complète: oL’écran Tactile oLes Boutons

  21. La Commande Vocale Introduction • Utilisateurs: oLes Handicapés Visuels oLes Handicapés Lourds oGrand Public

  22. La Commande Vocale Reconnaissance de la Parole: Schéma Fig. 1 Schéma Fonctionnel

  23. La Commande Vocale Reconnaissance de la Parole • Choix: oMonolocuteur vs Multilocuteur oCodification: LPC vs STFT vs Analyse Cepstral oComparaison: DTW

  24. La Commande Vocale Méthodes: • Schéma:

  25. La Commande Vocale Réalisation MATLAB • Étude Méthodes: oMatlab: • Implémentation des méthodes Fenetrage Hamming, LPC, STFT et DTW • Enregistrement de 1000 fichiers wav, différentes Liste de test en différentes langues • Préparation environnement de Test: ( Études générés automatiquement, Étude de la complexité, temps de calcul sur PDA )

  26. La Commande Vocale Réalisation TESTS • Résultats avec LPC: oMatlab: • Liste de mots 1: 17 mots -> 100 % • Liste de mots 2: 20 mots -> 100 % • Liste de mots 2: 26 lettres Alphabet -> 65 %

  27. Application Extérieur Application Extérieur La Commande Vocale Réalisation Embedded C++ • Architecture Logiciel: Module Enregistrement Dictionnaire Mots pour Enregistrer Validation Module Reconnaissance De la Parole Référence a les Commandes a Reconnaître Mot Reconu

  28. La Commande Vocale Réalisation Embedded C++ • Intégration aux autres applications: oModule totalement indépendant : Incorporation aux autres applications comme une DLL Utilisation transparent oAppelle a deux fonctions : Fonction EnregistrerDictionnaire(Liste de Mots) Fonction RAP(Liste de Mots a l’instant)

  29. Un PDA multimodal… Perspectives et Conclusion

More Related