Gestion de fichiers

1. Gestion de fichiers Introduction et Motivation

2. Organisation du Cours • Professeur: Iluju Kiringa, kiringa@site.uottawa.ca • Consultation: Mardi, 16:00-17:30 (EITI 5072) • Cours: Mardi, 14:30-16:00; Vendredi, 16:00-17:30 • Laboratoire: Lundi, 13:00-14:30 (EITI 0131) • Manuel: M.J. Folk, B. Zoellick et G. Riccardi, File Structures, an Object-Oriented Approach with C++, Addison Wesley, 1998 • Notes de Cours sur le web

3. Objectifs du cours • Etude des Structures de Fichiers (SF) pour ameliorer l’efficacité de l’accès aux données en mémoire secondaire • Etude des outils les plus importants pour l’organisation des fichiers: indexes, processus co-séquentiels, arbresB et B+,l’addressage dispersé (Hashing) • Eléments de programmation en C++

4. Evaluation • 30%  3 Devoirs (D) - théorie et programmation • 25%  Examen de mi-session (M) • 45%  Examen final (F) • M + F < 35 => Note Finale = 10 * ( M + F ) / 7 • M + F >= 35 => Note Finale = D + M + F • Retard dans la remise des devoirs: -10% par jour; aucun devoir ne sera accepté apres 11h00 le deuxième jour suivant la date de remise du devoir.

5. Stockage des données • Les données peuvent être sauvegardées dans trois types de locations différents: • Stockage primaire: mémoire principal de l’ordinateur (RAM) • Stockage secondaire: disque dur, disquette, cassette magnétique, CD-ROM  qui peuvent être accédés directement par l’ordinateur • Stockage tertiaire ou données d’archives: disque dur, disquette, cassette magnétique, CD-ROM  qui ne peuvent pas être accédé directement par l’ordinateur Notre sujet

6. Plan du cours d’aujourd’hui • Définition de “structures de fichiers” • Motivation à étudier la gestion de fichiers • Conception générale • Histoire de la discipline • Une introduction au C++ Lecture: FZR, Chapitre 1

7. Définition • Une structure de fichier = • Représentation pour les données en fichiers, et • opérations pour accéder à ces données • Une structure de fichier permet aux applications de -lire, écrire et modifier les données, -les trouver suivant des critères de recherche -leslire dans un ordre particulier • Les structures de données s’occupent de l’organisation des données en mémoire principale; • Les structures de fichiers s’addressent à l’organisation des données en mémoire secondaire

8. Stockage primaire vs. secondaire • Stockage secondaire: - lent (car électronique et méchanique) - large (milliers de MBs sur très peu d’espace physique) - stable et persitent (car souvent magnétique) • Stockage primaire: - rapide (puisque électronique) - très limité (car très cher) - instable (car necessite du courant en permanence) • Cas typique: l’accès aux données en RAM prend +/-120 nanosec.; +/-30 millisec. pour les celles sur disque • Analogie: recherche dans un index de livre vs. dans une bibliothèque

9. Motivation • Pour ameliorer le temps d’accès au stockage secondaire • Pour minimaliser le nombre d’accès • Pour ameliorer les détails de la représentation des données et des opérations associées à ces données • Pour étudier les regroupements d’informations de manière à atteindre un minimum d’accès

10. Conception générale • LeBut général estl’obtention de l’information requise avec un SEUL accès au disque. • Si cela n’est pas possible, on vise l’obtention de l’information requise avec aussi peu d’accès au disque que possible. • En général, le concepteur d’une SF essayera de grouper toutes les informations requises par les utilisateurs du système de façon à y parvenir avec un seul (ou un minimum d’) accès au disque.

11. Conception générale (suite) Fichiers fixes et fichiers dynamiques • Il est relativement facile de trouver des structures de fichiers efficaces (qui adhèrent à la conception générale des SF) pour les fichiers qui ne changent pas pendant l’execution du système. • Par contre, si les fichiers peuvent s’aggrandir ou rapetisser, il devient très difficile de trouver des SF efficaces.

12. Historique: accès séquentiel • L’histoire de la discipline est très intimement liée au développements techniques associés aux ordinateurs et à leur usage pratique. • Au début, les fichiers étaient sauvegardés seulement sur cassettes magnétiques. • L’accès y était donc séquentiel et son coût grandissait en proportion directe avec la taille du fichier. • Analogie avec l’accès séquentiel aux copies répétitives (array) en strutures de données.

13. Historique: accès direct et indexes • Lorsque les fichiers ont commencé à grandir de façon démesurée, l’accès séquentiel pur n’était plus une solution efficace. • Les disques ont permis l’accès direct. • Les indexes ont donné la possibilité de sauvegarder des petits fichiers ne contenant qu’une liste de clés associées à des pointeurs. La recherche sequentielle dans ces petits fichiers pouvaient être faite très rapidement. • La clé et le pointeur donnait l’accès direct au très grand fichier principal contennant les données.

14. Historique: arbres de recherche • Les indexes ont vite grandi de manière démesurée. Comme ils avaient une structure séquentielle, ils exhibent les mêmes problèmes que les gros fichiers. • L’idée d’utiliser des structures d’arbres de recherche afin de gérer un index est née au début des années 60 (exemple: arbres de recherche binaires). • Cependant, les arbres de recherches peuvent grandir de façon très inégale lorsque les enregistrements sont ajoutés ou effacés. Ceci résultait en des recherches très longues nécessitant plusieurs accès au disque avant de trouver l’enregistrement requis.

15. Historique: arbres équilibrés • En 1963, l’idée des arbres AVL a émergée pour les données sauvegardées en stockage primaire. • Cette idée, cependant, ne s’appliquait pas au stockage secondaire car les arbres AVL sont utiles lorsque les noeuds d’arbres sont composés d’enregistrements simples plutôt que de douzaines ou centaines. • Dans les annees 70, l’idée des arbres B a émergée. Ces arbres ont un temps d’accès de O(logkN) ou N est le nombre d’enregistrements dans le fichier et k le nombre d’enregistrements d’indexes dans un noeud. • Les arbres B peuvent garantir juste 3 ou 4 accès au disque pour un fichier de millions d’enregistrements.

16. Historique: addressage dispersé • Bien que la possibilite de trouver des données sauvegardées en stockage secondaire avec 3 ou 4 accès au disque est impressionante, elle n’atteint pas le but fixé de trouver des données en un simple accès. • Depuis très longtemps, l’addressage dispersé (hashing) était un moyen connu d’atteindre ce but dans les fichiers dont la taille ne changeait pas beaucoup pendant l’utilisation du système. • Plus récemment, l’addressage dispersé extensible garantit un ou au plus deux accès au disque quelle que soit la taille d’un fichier dynamique.

17. Contenu du cours • Introduction et motivation • Opérations de base sur les fichiers • structures d'enregistrement, accès séquentiel et direct • Stockage secondaire: disques, cassettes magnétiques et CD-ROMs • Compression de fichiers • Organisation des Fichiers pour l'amélioration de la performance • Construction d'indexes • Opérations co-séquentielles, tri interne efficace et tri externe • Addressage dispersé (hachage) • Addressage dispersé extensible • Indexes à structure d'arbres binaires et à niveau multiple • Les arbres B • Fichiers séquentiels indexés et arbres B+

18. Une Introduction au C++ • Le C++ a été crée par Bjarne Stroustrup. • C++ a conservé l’efficacité du C tout en y ajoutant la puissance de l’héritage d’objets. • C++ vs. Java: • Java est basé sur le C++ mais est un langage plus simple. • Néanmoins, Java n’a pas autant de flexibilité que le C++ car il repose sur des concepts de plus haut niveau. Par example, Java n’a pas de pointeurs.