1 / 18

Informatique Mobile

Informatique Mobile. Embarquement d’un système de reconnaissance de caractères manuscrits sur téléphone mobile Calculette orientée stylo pour machine de poche É . Anquetil, L. Pasquer, G. Lorette. Informatique mobile. Documents manuscrits en-ligne : É criture & lecture é lectronique.

kirkan
Download Presentation

Informatique Mobile

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Informatique Mobile Embarquement d’un système de reconnaissance de caractères manuscrits sur téléphone mobile Calculette orientée stylo pour machine de poche É. Anquetil, L. Pasquer, G. Lorette

  2. Informatique mobile Documents manuscrits en-ligne : Écriture & lecture électronique

  3. Thématiques de recherche Interaction homme-machine • Interface orientée stylo • Édition par le geste graphique • Écriture manuscrite

  4. Laboratoire de recherche Structure Universitaire Projet Partenaire Industriel Embarquement du système RESIFCarReconnaissance d'écriture manuscrite par Systèmes d'Inférence Flouesur des téléphones mobiles eric.anquetil@irisa.fr

  5. RESIFReconnaissance d'écriture manuscrite (caractères et mots)par Systèmes d'Inférence Floue (SIF) hiérarchisés Recherche menée depuis 1994 Thèse : E. AnquetilEncadrement : G. Lorette

  6. Niveau L1 Niveau L2 Niveau L3 ... Principe de la modélisation • Exploitation des connaissances sur l'écriture manuscrite • Structuration et Hiérarchisation des connaissances modélisées • L1 : Traits descendants • L2 : Contexte morphologique • L3 : Liaisons • Modélisation explicite et robuste par SIF • Faire face à la variabilité (intra classe) • Conserver une interprétation des connaissances modélisées • Associer un procédé d'apprentissage automatique

  7. Extraction de Primitives 1 Classification Possibiliste [Krishnapuram 94] 2 Attribut X1 Attribut X2 Extraction de Primitives Attribut X2 Attribut X1 Projection des Prototypes Flous Système d'Inférence Flou (SIF) 3 4 rk: if ( ( (xL11 is m k, L111and...and x L1r is m k, L11r ) and/or (xL11 is mk, L121and...and xL1r is mk, L12r ) and/or...)and( (xL21 is m k, L211and...and x L2s is m k, L21s ) and/or (x L21 is m k, L221and...and x L2s is m k, L22s) and/or...) and( (xL31 is m k, L311and...and x L3t is m k, L31t ) and/or (x L31 is m k, L321and...and x L3t is m k, L32t ) and/or...) ) thenthe unknown pattern belongs to class ckandnotto the others Attribut X2 mk, L212 Attribut X1 mk, L211 Apprentissage : génération des SIF

  8. 1 1ère phase Forme à identifier Mise en concurrence des modèles / au premier niveau de modélisation Analyse Modèle "a" Modèle "b" Modèle "c" … / … Niveau L1 Pré-sélection des n meilleurs modèles 2ème phase 1 Processus de décision final Niveau L1 … / … Niveau L2 Niveau L3 Classes identifiées Fusion / inférence floue Reconnaissance : identification

  9. ... ... ... ... ... ... ... ... ... La technologie ResifCar (IMADOC) • Reconnaissance robuste d'une écriture "naturelle" >> omni-scripteur • Modélisation explicite de l'écriture >> connaissances interprétables (système transparent) • Adaptation - Modularité du système >> modélisation intrinsèque des connaissances • Noyau de reconnaissance "léger" (SIF/MMC) >> Embarquement sur des systèmes à processeurs de performances limitées

  10. Cadre du transfert industriel • Objectif • Écriture "naturelle" de textes (SMS, e-mails, notes) sur l'écran tactile du téléphone • Transfert de la technologie Resif(Car) développée à l'IRISA • Reconnaissance d'écriture manuscrite en-ligne par Systèmes d’Inférence Floue (SIF) hiérarchisés • spécialisé pour la reconnaissance de caractères isolés : lettres, chiffres, symboles spéciaux • Collaboration avec la société PurpleLabs • Portage et adaptation de Resif(Car) sur téléphones mobiles • Durée • Octobre 2000 : Début des travaux de portage et d'adaptation • Août 2002 : Commercialisation des 1ers produits (I-GO 500)

  11. Rom Ram Système de reconnaissance 50 Ko Produit conçu par la société PurpleLabs Microprocesseur 200 Ko • ARM 7 TDMI (13 Mhz) Ressources mémoires disponiblespour la reconnaissance d'écriture "Smartphone" : modèle A700 Combine les fonctionnalités d'un téléphone et d'un PDA Écran Tactile • Basse résolution • 0.20 mm (pixel pitch) • Fréquence d'échantillonnage • 20 points / s Taille Mémoire Contraintes associées au téléphone (PurpleLabs)

  12. Temps de calcul réel Transfert "brut" Après optimisation Rom Taille mémoire Ram Système de reconnaissance 110 Ko 48 Ko 32 Ko Total 31.6 Ko Lettre “t” 9 s 0.62 s Modèleslettres et chiffres (63+26) 60.9 Ko Lettre “a” 11 s 0.49 s Temps de calculavec le Processeur ARM7 TDMI (13Mhz) Ressources mémoires utiliséespour la reconnaissance d'écriture En Moyenne 11 s Taux de reconnaissance sur les caractères isolés 0.5 s  92% Resif(Car) embarqué sur le smartphone A700

  13. Perspectives • Portage / Embarquement du logiciel Resif(Mot) • Reconnaissance d'écriture cursive liée (mots) • Extensions • Exploitation de grands lexiques • Gestion des connaissances lexicales, complétion, … • Adaptation au style d'écriture de l'utilisateur • Extension du système Resif aux caractères Chinois / Japonais

  14. Laboratoire de recherche Projet Structure de Recherche Calculette orientée stylopour machine de poche Laurent.PAsquer@irisa.fr

  15. DigiCarbon • Boîte à outils JAVA pour construire • interfaces orientées stylo • édition/manipulation gestuelle • documents structurés simples • Suite des travaux sur SPI • Système de Perception et d'Interprétation • Applications en cours de développement • CarbonMaths : formules mathématiques simples • CarbonMusiq : portée musicale • CarbonGraph : graphe étiqueté

  16. Principe de DigiCarbon 1/2 • Double représentation du document structuré • description graphique des symboles et gestes <primitive nom="plus"> <segment nom="verticale" angle="-90±30"/> <segment nom="horizontale" angle="0±30"/> </primitive> • description grammaticale du document <forme nom="somme"><ref-forme nom-forme="sigma" nom="sigma"/> <ref-forme nom-forme="formule" nom="dedans"/><ref-positionnement nom="pos_à_droite" liste="dedans,sigma"/> <ref-forme nom-forme="formule" nom="en_haut"/><ref-positionnement nom="pos_au_dessus" liste="en_haut,sigma"/> <ref-forme nom-forme="formule" nom="en_bas"/><ref-positionnement nom="pos_en_dessous" liste="en_bas,sigma"/> </forme>

  17. Principe de DigiCarbon 2/2 • Prédiction des actions de l'utilisateur • nouveaux symboles possibles • gestes de modifications autorisés • Prédiction du lieu de ces actions • positions d'insertion des symboles (exposant, ...) • localisation des gestes : globale, locale • Analyse dynamique des tracés • position => symboles/gestes possibles • choix du meilleur symbole/geste dans son contexte • Interaction continue • affichage du contexte (lieu de l'action) • proposition du symbole/geste choisi

  18. Portage de DigiCarbon sur SuperWaba • SuperWaba • mini machine virtuelle Java • PalmOS, Pocket-PC, symbian ? • Analyse de la grammaire hors-ligne • grammaire XML => grammaire sérialisée • Poids de l'interface calculette : 332 ko • Sérialisation : 15ko • DigiCarbon : 290ko • Interface CarbonMaths : 13ko • Grammaire : 14ko (grammaire XML : 35ko) • Poids de la machine virtuelle SuperWaba • Pocket-PC : 335ko • PalmOS : 395ko

More Related