Instrumenter la lecture critique personnelle multimédia

1. Thomas Bottini Direction : Pierre Morizet-Mahoudeaux Bruno Bachimont Compiègne, lundi 13 décembre 2010 Instrumenter la lecture critique personnelle multimédia

2. Plan • Motivations & approches • État de l’art scientifique et technique • Exposition des problématiques • Un modèle conceptuel générique pour la LCM • Prototype logiciel & terrains expérimentaux • Conclusion et ouvertures

3. Motivations& approches Vers une lecture critique/savante/intensive multimédia

4. Situation lectoriale contemporaine • Lecture critique : clef de voûte des sociétés lettrées.→ Production de nouvelles connaissances. • Changement de supports. • Multimédia + Web → contenus non textuels. • La lecture multimédia est pensée sous l’angle d’une lecture hyperextensive… • Le Web : l’idée d’une bibliothèque mondiale organisée. • Plateformes de partage (fonction sociale et non critique). • Outils de consommation passive (lecteurs). • … mais le numérique achoppe sur la lecture d’étude*. • Le Memex de V. Bush (1945) n’est toujours pas réalisé ! *[Giffard 2009]

5. Caractérisation de la lecture critique • Régime analytique : • Annotation, marquage & balisage. • Sélection, décomposition & fragmentation des contenus. • Reformulation & commentaire des unités identifiées. • Régime synthétique : • Mise en relation des unités. • Hiérarchisation, spatialisation, articulation* (valeur critique). • Construction de nouveaux contenus. • Une activité toujours instrumentée**… • … faute d’outils adéquats, pas de tradition critique du multimédia. **[Goody 1989, Ghitalla 1999, Stiegler 2005] *[Nakakoji Et al. 2005]

6. Enjeu technique • Quelle discrétisation des contenus multimédias pour rendre possible la conduite de ces opérations critiques fondamentales ? découper annoter sélectionner relier structurer spatialiser écrire regrouper

7. Notion de chaîne lectoriale • Grille d’analyse historique : • Intérêt porté à chaque maillon selon l’époque. • Manque instrumental : • Passage C ↔ D.

8. Entretiens avec des lecteurs savants Une instrumentation déficiente • Étudiants, chercheurs en SHS. • Souplesse du papier pour la prise de note et l’exploration des idées… • … mais prédominance du numérique pour la production finale. • Ainsi, MS Word se trouve investi de tous les rôles : • Milieu d’articulation intersémiotique ET critique. • Milieu d’articulation des opérations lectoriales. • Orienté production finale et non travail sur les idées. • Les contenus sonores restent esclaves du texte (transcription). • Musicologues (segmentation & mise en tableau de partitions). • Une pratique fondamentalement multimédia… • … mais un « artisanat du papier ».

9. Positionnement • Une technologie cognitive pour la lecture critique. • Un dispositif de suppléance et non de substitution*… • … car l’intelligence est matérielle** et située. • Positionnement disciplinaire : • Ingénierie des connaissances (inscriptions numériques***) • Ingénierie documentaire/multimédia • Hypertextes spatiaux (spatialisation libre, activité exploratoire) • IHM ***[Bachimont 2004] **[Latour 1992, Bachimont 2005] *[Gapenne et al. 2001]

10. Plan • Motivations & approches • État de l’art scientifique et technique • Exposition des problématiques • Un modèle conceptuel générique pour la LCPM • Prototype logiciel & terrains expérimentaux • Conclusion et ouvertures

11. État de l’art 4 classes d’outils et d’approches en rapport avec la question de la LCPM

12. Écoute active et annotationde flux sonores • GUI pour feuilleter, zoomer, segmenter et annoter un flux. • Associer du texte à des intervalles temporels. • Organiser les annotations en lignes de temps parallèles. Xcapture [Hindus et al., 1993] Media matrix [Kornbluh et al., 2005] Project Pad [NorthwesternUniversity, 2006] • Manquent : • Espace de synthèse & comparaison. • … car un document source unique. • Relations hiérarchiques (tout-partie, plan logique).

13. Annotation d’images fixes • Ontologies personnelles : • Automatisation de l’annotation. • Documents techniques. AKTivMedia [Chakravarthy, 2006] Armarius [Douma et al., 2008] • Faciliter l’annotation répétitive de manuscrits anciens (CBR). • Manquent : • Manipulation exploratoire « informelle ». • Espace de synthèse & contextualisation. [Faure et Vincent, 2007] • Importance de la structuration comme opération critique pour l’appropriation d’images « brutes ».

14. Images en mouvement • Annotations. • Modèles de MD avec degré de formalisation variable (pour soi, pour les pairs). • Restitution des résultats analytiques sous forme de vues XHTML. • Lignes de temps hiérarchiques, couleurs. Project Pad ANVIL [Kipp, 2001] • Manquent… Media matrix ADVENE [Aubert et Prié, 2005]

15. L’approche des hypertextes spatiaux • Pas de distinction nette entre lecteur et auteur. • Favoriser la phase exploratoire car structuration souple. [Marshall et Shipman, 1995] [Nakakoji et al., 2005] [Yamamoto et al., 2005] • Transition structurelle : du réseau d’idées au document. • Limitations : • Contenus « désincarnés », petits morceaux de texte uniquement. • Évacuation de l’unité documentaire. Pas d’annotation, pas de localisation interne. • Matérialité interne→ relations externes.

16. Ingénierie documentaire & multimédia • SMIL… • Annotation multimédia*. • Mais ne convient pas… • … car sa sémantique est orientée présentation… • … et non représentation de relations critiques. • L’IDM thématise la notion de fragment… • … mais celle-ci reste enclose dans le champs des outils d’écriture et de production**. *[Bulterman, 2003] ** [Mikac et al. 2008]

17. Des outils trop spécialisés

18. Plan • Motivations & approches • État de l’art scientifique et technique • Exposition des problématiques • Un modèle conceptuel générique pour la LCPM • Prototype logiciel & terrains expérimentaux • Conclusion et ouvertures

19. Problématiques Maîtriser la matérialité des contenus Éclatement, contexte, construction Les espaces de la critique

20. Problématique 1 Maîtriser la matérialité des contenus • → Tension fondamentale de la lecture critique : entre « maîtrise matérielle » et « maîtrise critique ». • Souplesse matérielle : Adobe Photoshop, MS Word. • Outils ordinaires : trop génériques → « artisanat documentaire ». • Expressivité : hypertextes, grammaires doc., ontologies. • Outils issus de l’état de l’art scientifique : trop spécialisés. • Enjeu : une lecture multimédia « qualitative ». • Des opérations matérielles efficaces « déduites » des opérations mentales (WYDIWYM).

21. Problématique 2 Éclatement, contexte, construction • La LC apporte une valeur ajoutée aux contenus en matérialisant des points de vue singuliers et non triviaux. • Par fragmentation des sources… • … puis en produisant des configurations nouvelles des unités. • La LC outrepasse donc les frontières des documents : • Chaque fragment doit être adressé pour lui-même. • Mouvement constant entre entre décomposition et recomposition (analyse/synthèse). • LC = lecture-exploration + lecture-construction : • Nécessité d’une souplesse sémantiques et structurelle. • Le sens des unités est déterminé par leur contexte, et non prescrit par un modèle préexistant. • Abolir la distinction écriture (structuration)/lecture (annotation).

22. Problématique 3 Les espaces de la critique – gestes & interaction • La LC exige une articulation fluide entre : • des gestes de « concentration » (étude d’un contenu); • des gestes d’ « orientation » (étude de n contenus). • 1) Quel espace critique pour le document non textuel ? • Livre, mise en page, interstices… : la critique reposesur des dispositifs typodispositionnels. • Quelle « grammaire de la lisibilité »* pour les contenus multimédias non textuels ? Quelle « mise en espace » ? • 2) Quel espace synthétique pour le corpus multimédia ? • Surplomb : condition de la posture critique (Ex. : METP). • Représenter les relations inter/intradocumentaires. • → Une question d’interaction humain/documents. *[Parkes 2001]

23. Plan • Motivations & approches • État de l’art scientifique et technique • Exposition des problématiques • Un modèle conceptuel générique pour la LCPM • Prototype logiciel & terrains expérimentaux • Conclusion et ouvertures

24. Un modèle conceptuel Trois familles d’entités génériques pour la lecture critique multimédia Niveau matérielfragmenter, agréger, localiser Niveau annotatifqualifier, mettre en relation Niveau organisationnelstructurer, agencer, construire

25. 1. Le niveau matériel Préparation du matériel lectorial • Les fichiers du SGF sont abstraits dans des Ressources. • Fragmenter :les Ressources sont éclatées en Fragments. • Agréger : les Fragments forment des Entités matérielles. • Localiser : les Entités matérielles reçoivent des Sélections. • → Opérations d’édition matérielle sur lesquelles reposent les opérations critiques.

26. 1. Le niveau matériel

27. 2. Le niveau annotatif Une glose multimédia • Qualifier : les Sélections sont associées à des Entités sémantiques (métadonnées, description, étiquettes). • Mettre en relation : les Entités sémantiques sont connectées par des Liens. • Orientés, n-aires→ réseaux interprétatifs complexes. Lorem Loremipsum Loremipsum

28. 3. Le niveau organisationnel Structurer les contenus et l’espace de lecture • Structuration externe : • Listes, arbres, tableaux… • Espaces libres. • Les Entités structurelles. • Structuration interne : • Matérialiser la structure logique des documents.

29. 3. Le niveau organisationnel • Les Entités structurelles : • Sont des Entités sémantiques. • Peuvent être qualifiées, liées, etc. • Réalisent une encapsulation sémantique et structurelle des contenus (Entités matérielles). • → Unifier l’interprétation de contenus hétérogènes.

30. 2+3. Les niveaux annotatifet organisationnel Qualification Spatialisation librede la descendance Objets composites Comparaison Mise en relation

31. Plan • Motivations & approches • État de l’art scientifique et technique • Exposition des problématiques • Un modèle conceptuel générique pour la LCPM • Prototype logiciel & terrains expérimentaux • Conclusion et ouvertures

32. Prototype logiciel& terrains expérimentaux Les modules et leurs usages Plateforme Flash (frameworks Flex+AIR) : Bibliothèques multimédias Desktop + Web Maturité des outils (frameworkPureMVC) Terrains expérimentaux : A. Commentaire composé audio Philosophie B. Analyses sémiotiques multimédia SHS C. Mise en tableau de partitions multimédias Musicologie

33. Organisation générale • Navigateur (contenus + structure). • Interface MDI (outils + instruments). • Inspecteur d’éléments (persistant). 1. 2. 3.

34. Exp. A.1. Commentaire composé de conférences de philosophie enregistrées • Méfiance des enseignants à l’égard du multimédia (approche passive et non active/critique)… • → Approche critique du contenu. • → Localisation précise de la glose. • Principe du module : • Définition d’instants remarquables. • Construction du plan. • Inscription du commentaire. • Annotations libres + enrichissements.

35. Exp. A.2. Relations structurelles et liens hyperdocumentaires • Un instrument de lisibilité : la carte synoptique.

36. Exp. A.3. Publication hypermédia Un pas vers les chaînes lectoriales • Double finalité : professeurs + publication « élargie ». • Gérer deux niveaux de discours. • Documenter/contextualiser le commentaire (enrichissements, discussions, références…). • Chaîne éditoriale Scenari WebRadio. Modèle

37. Exp. B.Analyses sémiotiques de corpus non textuels • Corpus de Unes de titres de presse. • Matérialiser et commenter la structure typodispositionnelle. • Étude sémiotico-culturelle musique/couleur. • Manipuler un matériau audible/visible/commentable. • Étude « ethnomusicologique » comparative. • Mise en série et étude de similarités musicales.

38. Exp. B.Au-delà des hypertextes spatiaux • Articuler matérialité interne et contextualisation critique. • L’espace comme moyen* (exploration) et fin* (restitution). *[Yamamoto et al. 2005]

39. Exp. C.Mise en tableau de partitions multimédias • À disposition du musicologue… • … des contenus « bruts » (partitions numérisées, mp3). • Comment manipuler l’ « œuvre », et non les divers contenus dans lesquels elle s’incarne ? • Synchronisation. • Faire coïncider n linéarités (spatiales & temporelles). • C’est déjà une opération critique singulière*. • Délinéarisationet segmentation de la partition. • Exploration libre des groupements motiviques. • Fixation de l’analyse : mise en tableau. *[Donin et Goldszmidt 2007]

40. Exp. C.1.Synchronisation hypermédia 1) Structurer 1 3) Relier 2 2) Marquer

41. Exp. C.1.Atelier de synchronisation

42. Exp. C.2.Le segment musical synchronisé • La synchronisation rend possible une « découpe hypermédia ». • Agrège : • Entités matérielles graphiques (morceaux de partitions). • Entités matérielles sonores (segments d’interprétations). • Pour chaque Fragment graphique de partition : • Manipulation matérielle → lisibilité accrue. • Contextualisation (Entité matérielle graphiqued’origine).

43. Exp. C.3→4.Espaces libres & tableaux hypermédias Spatialiser, catégoriser, explorer Écouter & valider

44. Exp. C.Un décalage épistémologique • Un environnement multimédia : • Validation par l’oreille. • Confrontation au matériau source. • → Analyse multimodale. • Un environnement pour l’analyse : • Mener de front plusieurs analyses. • Garder les pistes non suivies. • Possibilité de « refaire » l’analyse, de la faire varier*. • → Falsifiabilité. • → Document = le produit de l’analyse + son contexte. *[Donin & Goldman 2008]

45. Conclusion Et ouvertures

46. Conclusion • Contribution : • Modèle générique. • Principes d’organisation, représentation, interaction. • Approche : • Concepts « auteurs » au service de la lecture : • Fonctions d’éditions contrôlées par les opérations critiques (synchronisation). • Création libre d’entités, fragmentation, agrégation. • Structuration, disposition spatiale

47. Ouvertures • Travaux futurs : • Intégration plus fine avec des chaînes de publication. • Expressivité du modèle (typage des nœuds, ontologies personnelles et collectives, grammaires documentaires). • → Collectivité & ouverture vers le Web. • → Couche d’ « abstraction critique » du SGF.