Test di performance su dCache G.Donvito,V.Spinoso INFN Bari

1. Test di performance su dCacheG.Donvito,V.SpinosoINFN Bari www.eu-egee.org EGEE is a project funded by the European Union under contract IST-2003-508833

2. Protocolli • dcap dCache Access Protocol, è il protocollo di accesso ai file usato da dCache • gsidcap è il protocollo dcap nella versione GSI (Grid Security Infrastructure); GSI, per mezzo dell'uso dei certificati, consente alle sole persone autorizzate l'accesso alle risorse della GRID stessa • GridFTP (gsiftp) versione grid del più noto File Transfer Protocol. Consente di muovere datasets di grandi dimensioni tra storage elements all'interno di una grid. • rfio remote File I/O, protocollo di accesso usato da CASTOR (CERN Advanced STORage Manager). Storage meeting, 5 ottobre 2005 - 2

3. Librerie • libdcap Sono le API fornite da dCache per l'accesso ai file via dcap (dCache Access Protocol); l'accesso avviene per mezzo di chiamate POSIX (open, create, read, write ed lseek), insieme a qualche funzione specifica per settare il livello di debugging, catturare messaggi di errore e collegare la libreria a un'interfaccia di rete. Vedi http://www.dcache.org/manuals/libdcap.shtml • GFAL Grid File Access Library. Questa libreria nasconde le interazioni esistenti tra i vari servizi di grid, presentando un'interfaccia POSIX per l'I/O. A differenza di libdcap, che è specifica di dCache e fornisce supporto al solo dcap, GFAL supporta accesso locale, dcap (dCache access protocol) ed rfio (protocollo di access per CASTOR), nonché il file transfer con GridFTP (gsiftp). Vedi http://grid-deployment.web.cern.ch/grid-deployment/gis/GFAL/GFALindex.html Storage meeting, 5 ottobre 2005 - 3

4. Librerie • Abbiamo costruito un'applicazione modulare personalizzata in linguaggio C (bench), controllabile da riga di comando per mezzo di opportune opzioni • Per come è stata scritta bench è facile modificarne il codice perché usi librerie diverse da libdcap e GFAL • Come librerie abbiamo inizialmente usato libdcap e GFAL; quindi abbiamo scelto GFAL: • GFAL è capace di sfruttare tutti i protocolli grid di accesso a file (compresi quelli forniti da libdcap) • GFAL permette di testare un qualunque SE (dCache, DPM, CASTOR); • Abbiamo quindi testato un server dCache, usando il protocollo dcap • È bene sottolineare che non abbiamo apprezzato differenze di prestazioni (usando lo stesso protocollo) fra le libdcap e le GFAL Storage meeting, 5 ottobre 2005 - 4

5. Bench • Bench permette di aprire, leggere, scrivere e chiudere dei file di test in remoto • più precisamente, può generare dei file con contenuto testuale random direttamente su un SE (gfal_write), e quindi di leggerli in sequenza o in ordine casuale (gfal_read), e ripetendo tutta l'operazione per un certo numero di volte. • L’accesso ai file remoti può essere personalizzato (buffer di trasferimento, buffer read-ahead in lettura, etc). • Ogni operazione di apertura, chiusura, lettura e scrittura viene ``cronometrata''; i parametri misurati vengono quindi ``loggati'' in un semplice file di testo semistrutturato. • La struttura tabellare dei log permette la post-elaborazione delle misure in termini statistici e le misure di prestazione. Storage meeting, 5 ottobre 2005 - 5

6. Bench (CLI) Storage meeting, 5 ottobre 2005 - 6

7. Hardware del server dCache • CPU: 2 Pentium IV Xeon 3GHz • RAM: 2GB • Swap: 1GB • Controller12 ports PCI-X2SATA-II RAID 6 • Controller Name         ARC-1130 • Main Processor 500MHz IOP331 • CPU ICache Size    32KBytes • CPU DCache Size  32KBytes / Write Back • System Memory   128MB / 333MHz • Raid Level Raid 6 • Stripe Size 64KBytes • Block Size 512Bytes • Member Disks 11 (+1 hot spare) • Cache Mode Write Back • Tagged Queuing Enabled • Dischi Hitachi DeskStar 7K400 • Model Name HDS724040KLSA80 • Disk Capacity 400.1GB • Current/Supported SATA Mode SATA150 Storage meeting, 5 ottobre 2005 - 7

8. Hardware del generico client • Le caratteristiche hardware salienti del generico host utilizzato sono le seguenti: • CPU • Da Pentium III 1,2 GHz fino a Pentium IV 3 GHz (tutti dual processor) • RAM • Da 1GB a 2GB • Schede di rete 100Mbit Storage meeting, 5 ottobre 2005 - 8

9. Test realizzati • Usando bench, abbiamo registrato 10 file di 10GB l'uno su dCache, usando un buffer di trasferimento di 2MB • Abbiamo successivamente lanciato un'istanza di bench per nodo (stavolta in lettura), usando rispettivamente 4, 7, 10, 12 nodi in lettura. • Ciascun nodo leggeva, in ordine casuale, i 10 file di test su dCache, contemporaneamente alle altre istanze. • Il test con 10 nodi è quasi riuscito a saturare la banda sulla scheda di rete del server dCache (1Gb/s=125MB/s); per un numero di nodi in lettura maggiore di 10, l'hardware del server ha cominciato a manifestare i suoi limiti intrinseci. Storage meeting, 5 ottobre 2005 - 9

10. 4 accessi contemporanei • pccms17.cmsfarm1.ba.infn.it • pccms15.cmsfarm1.ba.infn.it • testcms1.ba.infn.it • pccms14.cmsfarm1.ba.infn.it INIZIO ore 16:54 Velocita' media per trasferimento di un singolo file: 11,23 MB/s Storage meeting, 5 ottobre 2005 - 10

11. pccms17.cmsfarm1.ba.infn.it pccms15.cmsfarm1.ba.infn.it testcms1.ba.infn.it pccms14.cmsfarm1.ba.infn.it pccms23.ba.infn.it pccms12.cmsfarm1.ba.infn.it pccms24.ba.infn.it 7 accessi contemporanei INIZIO ore 17:12 Velocita' media per trasferimento di un singolo file: 10,43 MB/s Storage meeting, 5 ottobre 2005 - 11

12. pccms17.cmsfarm1.ba.infn.it pccms15.cmsfarm1.ba.infn.it testcms1.ba.infn.it pccms14.cmsfarm1.ba.infn.it pccms23.ba.infn.it pccms12.cmsfarm1.ba.infn.it pccms24.ba.infn.it pccms25.ba.infn.it pccms26.ba.infn.it cofin2003.ba.infn.it 10 accessi contemporanei INIZIO ore 8:37 Velocita' media per trasferimento di un singolo file: 11,04 MB/s Storage meeting, 5 ottobre 2005 - 12

13. pccms17.cmsfarm1.ba.infn.it pccms15.cmsfarm1.ba.infn.it testcms1.ba.infn.it pccms14.cmsfarm1.ba.infn.it pccms23.ba.infn.it pccms12.cmsfarm1.ba.infn.it pccms24.ba.infn.it pccms25.ba.infn.it pccms26.ba.infn.it cofin2003.ba.infn.it pccms30.ba.infn.it gridba1.ba.infn.it 12 accessi contemporanei INIZIO ore 8:58 Velocita' media per trasferimento di un singolo file: 9,07 MB/s Storage meeting, 5 ottobre 2005 - 13

14. Risultato complessivo 11,23 MB/s 11,04 MB/s 10,43 MB/s 9,07 MB/s Storage meeting, 5 ottobre 2005 - 14