80 likes | 212 Views
Iván Corvillo Jordi Rovira i Boent. Optimització d’E/S per aplicacions paral·leles. Context. Gràcies als sistemes paral·lels, el que limita moltes aplicacions ja no és el temps de CPU: tenim tants CPUs com volem.
E N D
Iván Corvillo Jordi Rovira i Boent Optimització d’E/S per aplicacions paral·leles
Context • Gràcies als sistemes paral·lels, el que limita moltes aplicacions ja no és el temps de CPU: tenim tants CPUs com volem. • El que limita moltes aplicacions paral·lelitzades és ara les operacions d’entrada i sortida.
Solucions existents • Optimització del codi en temps de compilació, reordenant les operacions d’E/S, i fer servir llibreries especialitzades. (PASSION) • Sistemes de fitxers paral·lels, que fragmenten i distribueixen les dades per poder fer accés paral·lel, reduint la necessitat de sincronitzar un fitxer. (VESTA)
Què és? • ViPIOS (Vienna Parallel Input/Output System) (1998) intenta aprofitar les ventatges d’aquests dos camins. • Optimitza l’entrada i sortida aprofitant la informació tant de temps de compilació com de temps d’execució, reaccionant dinàmicament.
Arquitectura • Separar el mòdul d’entrada/sortida de l’aplicació • Llibreria per les aplicacions (interfície d’E/S). • Servidors cooperant (amb MPI) per fer les operacions d’E/S.
Com funciona? • Les operacions arriben al servidor • El fragmentador les divideix i les envia als altres servidors si fa falta. També pren decisions sobre la distribució de les dades sobre els discs. • El gestor de memòria fa de cache de fragments recents i també pot fer pre-fetching.
Com funciona? • Les dades es distribueixen dinàmicament per tots els dics, per adaptar-se a l’execució. • Tot això ha de ser transparent a l’aplicació.
Bibliografia • Bibliografia • “ViPIOS: The Vienna Parallel Input/Ouput System”, Erich Schikuta, Thomas Fuerle, Helmut Wanek • “PASSION: Parallel and ScalableSoftware for Input Output”, Alod Choudhary, et al. • “The Vesta Parallel File System” Peter F Corbett Drod, et al.