Projet DataLab

1. Projet DataLab Préparé pour le CNN François Bancilhon Data Publica

2. DataLab • Projet ambitieux Open Data + Big Data • Valorisant les actifs français (techniques, business, contenu) • Unissant grands groupes, organismes publics, laboratoires et PME innovantes • Plaçant la France en pole position • Plateforme unique

3. Les participants

4. Fournisseurs de données • Telco, opérateurs mobiles, opérateurs smartphones, La Poste, courriers privés, • Réseaux sociaux (twitter, facebook, blogosphère, google, etc.) • Utilités : eau, gaz, électricité (EDF), collecte des déchets • Transports : voitures, vélos, trains, bus, métro, avion, transport marchandise, canaux • Détenteurs de statistiques agricoles • Grande distribution, commerce électronique • Organismes publics IGN, Météo France, INSEE, Eurostats, OCDE, DILA, AP, Ministère de la santé, etc. (via Etalab) • Les extracteurs de données du Web

5. Recueil des données

6. Expérimentation sur les données

7. Originalité • Quantité et la diversité des données • Mutualisation de données entre acteurs potentiellement concurrents • Infrastructure de traitement de données • Combinaison de données publiques, privées ou de réseaux sociaux • Croisement de données de nature très diverses • Importance des moyens mis à disposition pour la gestion des données • Techniques les plus pointues en matière de gestion et de traitement des données • Capacité de travailler sur des données personnelles dans un environnement de confiance sécurisé • Capacité de travailler sur des tailles et des volumes de données non accessibles autrement • Utilisation d’une panoplie unique de technologies et de mobiliser des talents complémentaires

8. Compétences requises • Traitement et analyse sémantique de texte • Parallélisme massif • Géomatique • NoSQL et Hadoop • Optimisation de grands systèmes, • Combinatoire • ETL (Extraction, Transformation and Load) • Cloud • statistiques • Intégration de données • Bases de données • Web sémantique • Business intelligence • Entrepôts de données • Visualisation

9. Domaines d’application • gestion et économies d'énergie • développement durable • logistique et transports • urbanisme et politique de la ville • agriculture et politique agricole • sociologie • détection d'événements et de tendances • développement d’applications Internet et Mobile • prévision de ventes • conduite des politiques publiques de démographie, de santé, et d’éducation • journalisme des données • politique d'emploi

10. Tâches DataLab • mise en place de l’infrastructure (développement et mise en place de la plateforme de gestion et d’administration des données) • recueil de données (consiste à recueillir les données des éditeurs ou à les extraire du Web, cette tâche est permanente, les données étant mise à jour de façon régulière) • gestion et intégration de données • extraction de données pour les expériences locales • expérimentations et développement d’applications • mise en œuvre des applications