Structure formation in a hierarchical universe

1. Projet Horizon: computational astrophysics on massively parallel systems to understand structure formation in the universe.

2. Structure formation in a hierarchical universe Initial conditions: inflation drives quantum fluctuations up to cosmic scales. Collisionless fluid: dark matter (CDM, WDM ?) Vlassov-Poisson stars Collisional fluid: gas (hot, cold, very cold) Euler-Poisson dense clouds (collisions) Cooling (atomic, molecular) and radiative transfer Additional physics: Star formation and feedback on the gas. Subgrid models: supernovae, turbulence, black holes, jets... Hierarchical scenario: galaxy formation, from the end of the dark ages (Pop III) to the formation of the Milky Way with « ab-initio » models A well-posed numerical problem…

3. Project objectives up to 4 years • Computational modelling of cosmological structures formation. Prediction of observational signatures as a function of various physical scenarios. • Promote state-of-the-art expertise in parallel programming and applied mathematics in computational cosmology. • Put together several experts in the field to share knowledge and softwares, and optimize use of supercomputer centers. • Provide to the scientific community an easy access to top quality simulations data, as well as educational and public outreach.

4. Organisation 6 geographical nodes IAP S. Colombi Paris CRAL B. Guiderdoni Lyon Obs F. Combes Paris SAp R. Teyssier Saclay Luth J.-M. Alimi Meudon LAM L. Athanassoula Marseille Horizon scientists are responsible of a work package (MoU) and have full access to the hardware and software infrastructure of Projet Horizon: 30 scientists Executive committee validates day-to-day operations (5 co-Is among Horizon scientists) Scientific committee issues recommendations and scientific objectives to the project.

5. Software resources shared and posted to an internal web site • Gas dynamics and N body codes • Data conversion utilities • Common post-processing tools • Common visualization tools • Parallel computing tutorials • Common initial conditions for code benchmarking • CVS repository

6. Simulation results presented in a fully open web site • N body runs with 1010 particles • N body and gas dynamics runs with 109 particles • Zoom simulations on pre-selected objects with 108 particles • Idealized simulations of interacting galaxies with 108 particles All initial conditions are generated self-consistently from the same primordial realization at all scales. Public Outreach

7. Computer infrastructure • “Extreme Computing Initiative” at European level (DEISA) • 106 CPU hours per year on national supercomputer centers (IDRIS, CINES, CCRT) • Shared resources on HPC1(funded by INSU and CEA) • Mini-grid : 1 quad AMD on each node (funded by IN2P3 and INSU “astroparticule”) • 3D visualization servers 3D (funded by Universities)

8. Computer infrastructure Supercomputer centers HPC1 Post-processing on large data sets Jobs submission Visualization, Post-processing on Small data sets Mini-grid Horizon Paris Meudon Saclay Lyon Marseille

9. Partnership with HPC1 • Hardware and Software support on working days • 3 “master nodes” 64 Go each available full time • 200 000 CPU hours for 3 years in 2 possible configurations • Compact: 5 additional nodes for 95% of the time OR • Distributed: 50 additional nodes for 5% of the time • Annual planning with HPC1 team • 5 To storage • Integration within Horizon Mini-grid (VPN, SSH) with RENATER + 100 Mbits

10. Large scale structure in the universe L=1 milliard d’années lumières T=1, 3 et 13 milliards d’années

11. Towards galactic discs formation

12. Stars birth and death on cosmic scales

13. Small scale galaxy physics

14. Films Down to Galactic Scales

15. Conclusion • Utility computing : a new approach for high performance computing in advanced research • More time and manpower dedicated to research activities • Professional hardware and software administration by vendor’s specialists • Continuous upgrade with state-of-the-art technologies • HPC1 directly located on TER@TEC site

16. Fin du diaporama

17. Programme de recherche: 4 thèmes principaux Mathématiques appliquées Comparaison entre codes sur des cas « test » Etude en convergence sur des cas « test » (résolution en masse, résolution spatiale) Etude en conservation sur des cas « test » (moment angulaire, entropie…) Méthodes de transfert radiatif (« ray tracing », méthode au moment…) Méthodes MHD (équation d’induction) Algorithmes et parallélisme Algorithmes de post traitement (détection des halos et des sous-halos, calcul des arbres de fusion) Outils statistiques (spectres de puissance, moments d’ordre élevé) Optimisation sur architecture massivement parallèle (MPI ou OpenMP ou les deux) Calcul distribué (projet DEISA, approche CORBA) Observations virtuelles et base de données Modèles semi-analytiques avec GALICS et génération de catalogues fictifs avec MOMAF Génération d’images et de catalogues polychromatiques(optique, IR, X, mm, lensing...) Base de données interactives: résultats bruts de simulations catalogues fictifs (limite angulaire, spectrale, magnitude) images de galaxies individuelles Modules de physiques Refroidissement atomique et moléculaire (dépendant de la métallicité et du flux UV) Modules de formation d’étoiles et de formation de trous noirs Modules de « feedback » stellaires et AGN: vents, jets... Approche multiphase (non résolue), Kennicut, turbulence… Spectro- photométrie stellaire et AGN (âge et métallicité). Modules d’opacités spectrales (poussières…)

18. Conclusions Un projet à l’interface PNC, PAP et PNG • Techniques numériques et modules de physiques communs • Problématique nouvelle: le milieu interstellaire dans un cadre cosmologique Un rôle central est donné au réalisme physique • Compréhension des effets systématiques • Approches analytiques, semi-analytiques et numériques • Microphysique et mésophysique Une insertion active au sein de projets européens • Projet de réseau Marie-Curie « SUPERCOSM » • Réseau d'infrastructure DEISA (J.-M. Alimi) Préciser les tâches à accomplir avant septembre 2004 • Importance de la structure projet • Lots de tâches avec responsables, jalons et MOU. Moyens humains actuels: 7 FTE • Demande: 3 FTE supplémentaires pour un total de 10 FTE

19. Un panorama favorable à la naissance d’un tel projet Des réflexions au sein du PNC/PNG depuis 5 ans sur l’importance des simulations numériques dans les deux communauté (rapport PNC 1998-2002 Jean-Michel Alimi) Colloque prospective à la Colle-sur-Loup en 2003. Création de l’ASSNA: soutien à des initiatives et des projets en calcul numérique en astrophysique. Les infrastructures de calcul intensif atteignent/dépassent le « mur » du Téraflops. Nécessité de se regrouper pour mettre en commun des moyens de traitements logiciels/humains, accroître la visibilité en France et à l’étranger (liens avec les projets européens).

20. Lien avec collaborateurs et concurrents étrangers Réseau Marie-Curie « SUPERCOSM » 3ème sur liste B (coord. S.D.M. White) tète de noeud: S. Colombi (Paris-Saclay) Collaboration avec MPA (Garching), ICC (Durham)... Réseau de calcul DEISA (Jean-Michel Alimi) Scientifique Associé: collaborateur sans lot de taches, mais désirant participer à la définition ou à l'exploitation des produits du Projet Horizon. Négociation avec les co-I's au cas par cas.

21. Historique du Projet Horizon Septembre 2003:lancement de la phase préparatoire. Octobre 2003: demande de soutien au PNC et PNG Décembre 2003: présentation au Forum ASSNA Avril 2004: demande de soutien au PAP (Astroparticules) Mai 2004: soutien du PNC (15 kE) et du PNG (8 kE) Mai 2004: Horizon reçoit le « Label ASSNA » Juin 2004: soutien du PAP (70 kE) Septembre 2004: Kick-off meeting à l'observatoire de Paris Octobre 2004: demande de soutien à la CSA