1 / 32

Manipulation et traitement de données massives

Manipulation et traitement de données massives. Scripts et Pertinence des données. Raymond Ripp. Traiter beaucoup de données. 30000 protéines pour Homo sapiens Ce n’est pas faisable manuellement trop long, trop compliqué risque d’erreurs (par ex. coupé-collé) Automatiser

claudia-dale
Download Presentation

Manipulation et traitement de données massives

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Manipulation et traitement de données massives Scripts et Pertinence des données Raymond Ripp

  2. Traiter beaucoup de données • 30000 protéines pour Homo sapiens • Ce n’est pas faisable manuellement • trop long, trop compliqué • risque d’erreurs (par ex. coupé-collé) • Automatiser • Trouver l’outil idéal … • Utiliser les outils existants • Tout faire soi-même

  3. L’outil interactif • Malheureusement beaucoup d’outils ne sont utilisables qu’à travers une interface graphique • par ex. Seqlab de GCG • sites web • Pourquoi ? • convivial • actions prédéfinies • interrogation • … évite la fuite des données des sites web

  4. Gérer soi-même les données • Les trouver • Les rapatrier • en bloc • à la volée • Les traiter • Les stocker • Les rendre disponibles • … faire un site web.

  5. 1/ Accéder aux données

  6. Accéder aux données :Bases de données vs Données « à plat » • Une base de données « bien faite » permet un accès direct aux données • niveau de précision (par ex pour une protéine) • Texte en vrac de la séquence et des infos concernant fonction, organisme, biblio, etc. • SequenceAA , TaxId, InterPro • Relations avec d’autres information • Localisation génomique, expression • Facilité d’accès • Interactif, requête SQL

  7. Les formats des données « à plat »(hors « base de données ») • Les données sont dans des fichiers rangés dans une arborescence • Généralement un format de fichier « binaire » est associé à une application • Word.doc,Excell.xls, etc. • Images .jpg, .tif, Sons .mp3, Vidéos • Sinon c’est du Texte (Ascii) • lisible par l’humain et la machine • simple mais • pas agréable pour l’oeil • pas rapide ni précis • Web .html, .xml • Xml fédère tout le monde …

  8. Comment lire un fichier Excell

  9. Universel ? • Peu de programme donne ainsi un moyen d’accès « simple » aux données qu’ils produisent … • Le programme est obligatoire • Pourquoi ne pas lire le binaire ? • Très difficile quand on ne sait pas comment il est organisé • Essai erreur … • Ouvert … Open • Si les spécifications existent le binaire est aussi lisible

  10. Les formats standard en bioinfo • Public • Universitaire • Mondial • Historique • Compatible • Evolution • … Avenir

  11. Format Fasta d’une séquence >PGS110 AaEcR-A Aedes aegypti Ecdysone receptor isoforme-A MYRLNIVSTNPSGSVQQQQQAQGQQVISSVVRPQQQQPPPQLALVQTGGS GGTTTTIIGLTSLNALNATTITGLVAGAAGSSTSAIAAAGASNSGSGPST ATTKHILKAATTNNNISIVKIVDDIMLKAVKVEPLPMDTGGGGGGVSMIP SSATTSGGVTVTAIPASVAPMPPVAAGTNVSSNGSVTVYASGKRRLESNE EWISSPSPGSVPGSAPPLSPSPGSQSTTYTTTMSNGYSSPMSTGSYDPYS PNGKMGREDLSPSSSLNGYTDGSDAKKQKKGPTPRQQEELCLVCGDRESG YHYNALTCEGCKGFFRRSVTKNAVYCCKFGHACEMDMYMRRKCQECRLKK CLAVGMRPECVVPENQCAIKRKEKKAQKEKDKVQTNATVSTTNSTYRSEI LPILMKCDPPPHQAIPLLPEKLLQENRLRNIPLLTANQMAVIYKLIWYQD GYEQPSEEDLKRIMIGSPNEEEDQHDVHFRHITEITILTVQLIVEFAKGL PAFTKIPQEDQITLLKACSSEVMMLRMARRYDAATDSILFANNRSYTRDS YRMAGMADTIEDLLHFCRQMFSLTVDNVEYALLTAIVIFSDRPGLEQAEL VEHIQSYYIDTLRIYILNRHAGDPKCSVIFAKLLSILTELRTLGNQNSEM CFSLKLKNRKLPRFLEEIWDVQDIPPSMQAQMHSHGTQSSSSSSSSSSSS SNGSSNGNSSSNSNSSQHGPHPHPHGQQLTPNQQQHQQQHSQLQQVHANG SGSGGGSNNNSSSGGVVPGLGMLDQVLV

  12. Format Embl d’une séquence ID Q7UB09 PRELIMINARY; PRT; 391 AA. AC Q7UB09; DT 01-OCT-2003 (TrEMBLrel. 25, Created) DT DT 01-MAR-2004 (TrEMBLrel. 26, Last annotation update) DE Putative xylanase. GN YIEL OR S4034. OS Shigella flexneri. OC Bacteria; Proteobacteria; Gammaproteobacteria; Enterobacteriales; OC Enterobacteriaceae; Shigella. OX NCBI_TaxID=623; DR EMBL; AE016991; AAP19014.1; -. DR GO; GO:0005975; P:carbohydrate metabolism; IEA. DR InterPro; IPR000379; Ser_estrs. DR Pfam; PF02922; Isoamylase_N; 1. KW Glycosidase; Hydrolase; Xylan degradation. SQ SEQUENCE 391 AA; 43049 MW; 0C6006A9977CFBC0 CRC64; MNIKIAALTL AIASGISAQW AIAADMPASP APTIPVKQYV TQVNADNSVT FRYFAPGAKN VSVVVGVPVP DNIHPMTKDE AGVWSWRTPI LKGNLYEYFF NVDGVRSIDT GTAMTKPQRQ TFSGVTTTTV PDEGVAARLN DPAAINQQLR NFTVVVGDKD VVTGKDIAGL KTELEQKKIK FDYQEYPGLN HEMDVWRPAY AAFVQKFKIR H

  13. Format Genbank 1/2 LOCUS NC_003071 19643621 bp DNA PLN 13-AUG-2001 DEFINITION Arabidopsis thaliana chromosome 2, complete sequence. ACCESSION NC_003071 SOURCE thale cress. ORGANISM Arabidopsis thaliana Eukaryota; Viridiplantae; Streptophyta; Embryophyta; Tracheophyta; FEATURES Location/Qualifiers source 1..19643621 /organism="Arabidopsis thaliana" /cultivar="Columbia" /db_xref="taxon:3702" /chromosome="2" gene complement(64436..66139) /gene="At2g01040" /note="F23H14.1; pseudogene, disease resistance protein" /pseudo mRNA complement(<67337..>68884) gene complement(67337..68884) /gene="At2g01050" /note="F23H14.2; predicted by genscan" CDS complement(67337..68884) /gene="At2g01050"

  14. Format Genbank 2/2 mRNA complement(join(<72279..72950,73073..73142,73240..73297, 73383..73425,73509..73585,73785..73907,74190..74340)) /gene="At2g01060" gene complement(67337..68884) /gene="At2g01050" /note="F23H14.2; predicted by genscan" CDS complement(67337..68884) /gene="At2g01050" /codon_start=1 /product="hypothetical protein" /db_xref="GeneID:At2g01050" /protein_id="NP_178215.1" /db_xref="GI:15226168" /translation="MLDVGEKGRPPGDPPDKLESWATKVKGSAGGGILKPEDVIDDEF VRERVGLEFPDGEDEEPVITIGEEVLEAMNGLWKKCMIVKVLGSQIPISVLNRKLREL WKPSGVMTVMDLPRQFFMIRFELEEEYMAALTGGPWRVLGNYLLVQDWSSRFDPLRDD IVTTPVWVRLSNIPYNYYHRCLLMEIARGLGRPLKVDMNTINFDKGRFARVCIEVNLA KPLKGTVLINGDRYFVAYEGLSKICSSCGIYGHLVHSCPRNVVVKVSAGAETVTDRAV VPVGMEGDDGFTVVQRTARRPAAPVQKMVFAVGASGGRSKQRLRELPKNQGVDLANRF GGLDGNGDLPDLREVAITEGPNKENEYHGRNVGKVMGVPLVKEARGSTQMEKGKGGSK GGFKWKRNGGMKALEPIGPKQKHGAANKPARGLIFGPTKDANSVPVGEDLLSNGKRLR VEQRDVGRPGGVYSSAMGSHAHEASFDLDSSSTLSQRFQREDLMSEIAVVSHEGSEVG NSSEGMA« mRNA complement(join(<72279..72950,73073..73142,73240..73297, 73383..73425,73509..73585,73785..73907,74190..74340)) /gene="At2g01060" gene complement(72279..74340) /gene="At2g01060" /note="F23H14.3; similar to transfactor GB:BAA75684 from (Nicotiana tabacum)" CDS complement(join(72456..72950,73073..73142,73240..73297,

  15. … il n’y a pas que des séquences • Blast • Alignements • GO • Références bibliographiques • Data mining • … • …

  16. Où trouver les données ? • Dans les banques de données • Ramener la banque en entier • Traiter les fichiers ainsi stockés sur le disque • Chercher l’info pertinente … à la volée • Faire une requête ciblée dans une banque de données • SRS le permet …

  17. 2/ Traiter ces données

  18. Qu’est qu’un script ? • C’est un programme. • Qui enchaîne une suite de programmes • (pris dans un boîte à outils) • Écrit dans un langage • sh, csh, tcsh, bash • Perl, Tcl, Python, • C, C++, VisualBasic, Fortran, Java « Mon langage est le meilleur ! »

  19. Un script de metteur en scène • Qui utilise des outils • qui préexistent • qui doivent être écrits • Ce script sera lui aussi un outil

  20. Boîte à outils NCBI-toolbox Gcg Gscope Emboss

  21. Un exemple de traitement en local

  22. sinon …

  23. Traitement à distance sur un site web … • On simule par programme les actions répétitives de l’utilisateur • Ce n’est pas toujours possible • ce n’est pas fait pour ça • il faut connaître l’organisation des données • Le format des données est souvent difficile à exploiter • Html, Xml, images • Problèmes de connexion et de gestion des décrochages • Attention aux mises à jour des sites

  24. Les problèmes liés au « massif » • Long en temps • Plusieurs jours ou semaines • L’intervention humaine est souvent impossible • Puissance de calcul et de stockage • Erreurs ou incohérences • Plus de traitement plus d’erreurs • Causes externes • Coupures de courant, disques pleins • Les banques changent • Les programmes changent • Les questions changent

  25. 3/ « Publier » la valeur ajoutée Rendre vos résultat accessibles aux autres

  26. Comment ? • En interne, en externe • En vrac, en finesse • Par une base de données «utilisable » • Créer un site • rien que pour les yeux • … 

  27. Gscope • Collecte les données • Crée une base de données • Les visualise • Les rend accessibles • … à tous les niveaux • en bloc • au détail • 150 000 lignes de programme Tcl/Tk

  28. 4/ À vos claviers ! Merci

More Related