1 / 18

Pr áce s daty ve VO Auger

Pr áce s daty ve VO Auger. Jiří Chudoba Auger tutoriál, 9.1.2007, Praha. Základní pojmy. Storage Element SE klasický: golias26.farm.particle.cz, skurut18.cesnet.cz se SRM rozhraním DPM: golias100.farm.particle.cz dCache castor Soubory jsou registrovány v katalogu LFC: skurut2.cesnet.cz

april-hamilton
Download Presentation

Pr áce s daty ve VO Auger

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Práce s daty ve VO Auger Jiří Chudoba Auger tutoriál, 9.1.2007, Praha

  2. Základní pojmy • Storage Element SE • klasický: golias26.farm.particle.cz, skurut18.cesnet.cz • se SRM rozhraním • DPM: golias100.farm.particle.cz • dCache • castor • Soubory jsou registrovány v katalogu • LFC: skurut2.cesnet.cz • Fireman, RLS • Jak najít servery • lcg-infosites --vo auger lfc • lcg-infosites --vo auger se To change: View -> Header and Footer

  3. Základní pojmy II • GUID: Grid Unique IDentifier • guid:<řetězec_40_bytů> • guid:c04e54af-e53e-401b-8b31-dbe4b131093d • LFN: Logical File Name • „libovolné“ jméno určené uživatelem • lfn:mydir/myfilename • lfn:/grid/auger/user/chudoba/myfile.root • SURL: Storage URL = PFN: Physical File Name • sfn://hostname/path • srm://hostname/path • sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/t.5 • TURL: Transport URL • protocol://řetězec • gsiftp://se2.itep.ru/se2.itep.ru:/storage/atlas/2006-12-11/calib0_csc11.005011.J2_pythia_jetjet.simul.HITS.v12003104_tid004283._00474.pool.root.9.296604.0 To change: View -> Header and Footer

  4. Proměnné prostředí Nastavení prostředí • kontrola $LFC_HOST, $LCG_GFAL_INFOSYS a $LCG_GFAL_VO • nastavit, pokud nejsou definovány nebo jsou špatně: • export LFC_HOST=skurut2.cesnet.cz • export LCG_GFAL_INFOSYS=bdii.cyf-kr.edu.pl:2170 • export LCG_GFAL_VO=auger • proměnná LCG_CATALOG_TYPE již není zapotřebí To change: View -> Header and Footer

  5. Varování • Data na SE nejsou zálohována • některé SE (zatím ne v auger) mají část s páskami • ani pásky nejsou úplně bezpečné proti ztrátě dat • replikace na více SE lépe chrání proti HW chybě, ale ne proti SW chybě (např. smazání záznamu v LFC) • Data na klasickém SE jsou přístupná všem členům VO a libovolný člen je může smazat • DPM nabízí více alternativ • na LFC je možno nastavit práva • Za správu a mazání starých souborů je odpovědný uživatel • kvóty nejsou zavedeny • libovolný uživatel může zaplnit veškerý prostor To change: View -> Header and Footer

  6. LFC příkazy – lfc-ls, lfc-getacl lfc-ls /grid/auger/user/chudoba 2007 lfc-ls -l /grid/auger/user/chudoba/ drwxrwxr-x 2 184 104 0 Jan 04 15:13 2007 lfc-getacl /grid/auger/user/chudoba/2007 # file: /grid/auger/user/chudoba/2007 # owner: /DC=cz/DC=cesnet-ca/O=Institute of Physics of the Academy of Sciences of the CR/CN=Jiri Chudoba - auger # group: auger user::rwx group::rwx #effective:rwx other::r-x default:user::rwx default:group::rwx default:other::r-x To change: View -> Header and Footer

  7. LFC příkazy - mkdir lfc-mkdir /grid/auger/user/uzivatel lfc-mkdir –p \ /grid/auger/user/uzivatel/dalsi/adresare/najednou lfc-ls \ /grid/auger/user/uzivatel/dalsi/adresare/najednou To change: View -> Header and Footer

  8. lcg-cr lcg-cr Zkopíruje soubor na SE a zaregistruje v katalogu. lcg-cr [ --config config_file ] [ -d dest_file | dest_host ] [ -g guid ] [ -h ] [ --help ] [ -i ] [ --insecure ] [ -l lfn] [ -P relative_path ] [ -n nbstreams ] [ -t timeout ] [ -v ] [ --verbose ] --vo virtual_organization src_file Příklady: lcg-cr -d golias26.farm.particle.cz file:`pwd`/detailed.log guid:c04e54af-e53e-401b-8b31-dbe4b131093d lcg-cr -d golias26.farm.particle.cz -P user/chudoba/2007/test.3 -l /grid/auger/user/chudoba/2007/01/test.3 file:`pwd`/detailed.log lcg_cr: No such file or directory lfc-mkdir -p /grid/auger/user/chudoba/2007/01 To change: View -> Header and Footer

  9. lcg-rep lcg-rep zkopíruje soubor z jednoho SE na jiný a zaznamená repliku v katalogu lcg-rep [ --config config_file ] [ -d dest_file | dest_host ] [ -h ] [ --help ] [ -i ] [ --insecure ] [ -P relative_path] [ -n nbstreams ] [ -t timeout ] [ -v ] [ --verbose ] --vo virtual_organization src_file lcg-rep --verbose -d skurut18.cesnet.cz -P user/chudoba/2007/test.5 srm://golias100.farm.particle.cz/dpm/farm.particle.cz/home/auger/user/chudoba/2007/test.5 Using grid catalog type: lfc Using grid catalog : skurut2.cesnet.cz Source URL: srm://golias100.farm.particle.cz/dpm/farm.particle.cz/home/auger/user/chudoba/2007/test.5 File size: 25774 VO name: auger Destination specified: skurut18.cesnet.cz Source URL for copy: gsiftp://golias100.farm.particle.cz/golias100.farm.particle.cz:/mnt/array3/auger/2007-01-04/test.5.271156.0 Destination URL for copy: gsiftp://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.5 # streams: 1 # set timeout to 0 0 bytes 0.00 KB/sec avg 0.00 KB/sec inst Transfer took 4030 ms Destination URL registered in LRC: sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.5 To change: View -> Header and Footer

  10. lcg-cp lcg-cp zkopíruje soubor z SE na lokální disk lcg-cp [ --config config_file ] [ -h ] [ --help ] [ -i ] [ --insecure ] [ -n nbstreams ] [ -v ] [ --verbose ] ] [ -timeout ] --vo virtual_organization src_file dest_file lcg-cp --verbose -t 600 \ lfn:/grid/auger/user/chudoba/2007/test.5 \ file:////tmp/test.5 Proměnné pro timeout a retry: export LFC_CONNTIMEOUT=60 export LFC_CONRETRY=2 export LFC_CONRETRYINT=60 To change: View -> Header and Footer

  11. lcg-cp - možné problémy • Když je jedna replika ztracená • HW chyba nebo špatné použití příkazů lcg-lr guid:7fb0c8d1-2754-4177-9b99-79d15a089d0a sfn://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.12 edg-gridftp-rm gsiftp://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 lcg-lr guid:7fb0c8d1-2754-4177-9b99-79d15a089d0a sfn://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.12 lcg-lr lfn:/grid/auger/user/chudoba/2007/test.12 sfn://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.12 lcg-cp --verbose lfn:/grid/auger/user/chudoba/2007/test.12 file:////tmp/test.12 Using grid catalog type: lfc Using grid catalog : skurut2.cesnet.cz the server sent an error response: 550 550 /storage/auger/user/chudoba/2007/test.12: not a plain file. lcg_cp: Invalid argument lcg-uf guid:7fb0c8d1-2754-4177-9b99-79d15a089d0a sfn://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 lcg-cp --verbose lfn:/grid/auger/user/chudoba/2007/test.12 file:////tmp/test.12 - OK To change: View -> Header and Footer

  12. Cvičení I • Vytvořte si testovací soubor (velikost několik KB) • Vytvořte si adresář na LFC • Zkopírujte soubor na skurut18 a pak znovu na golias26 • Zreplikujte soubor ze skurut18 na golias26 • Zkopírujte soubor zpět na lokální disk To change: View -> Header and Footer

  13. lcg-del lcg-del vymaže soubor (jednu nebo všechny repliky) lcg-del [ -a ] [ --config config_file ] [ -h ] [ --help ] [ -i ] [ --insecure ] [ -s se ] [ -v ] [ --verbose ] [ -t time-out ] --vo virtual_organization file lcg-del \ sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.3 To change: View -> Header and Footer

  14. lcg-del záludnosti lcg-cr -d skurut18.cesnet.cz -P user/chudoba/2007/test.11 -l /grid/auger/user/chudoba/2007/test.11 file:/tmp/testfile1 guid:0e1b4b83-2306-4157-a7f1-115164a56e33 lcg-del guid:0e1b4b83-2306-4157-a7f1-115164a56e33 File starts with neither "lfn:" nor "guid:". lcg_del: Invalid argument lcg-la guid:0e1b4b83-2306-4157-a7f1-115164a56e33 lfn:/grid/auger/user/chudoba/2007/test.11 lcg-del lfn:/grid/auger/user/chudoba/2007/test.11 File starts with neither "lfn:" nor "guid:". lcg_del: Invalid argument lcg-lr guid:0e1b4b83-2306-4157-a7f1-115164a56e33 sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.11 lcg-del -s skurut18.cesnet.cz lfn:/grid/auger/user/chudoba/2007/test.11 To change: View -> Header and Footer

  15. Cvičení II • Smažte soubor na skurut18, který vytvořil kolega • Smažte všechny vlastní vytvořené testovací soubory z SE i LFC To change: View -> Header and Footer

  16. Další lcg_util příkazy • lcg-aa  Adds an alias in the catalogue for a given GUID. • lcg-ra  Removes an alias in the catalogue for a given GUID. • lcg-rf  Registers in the the catalogue, a file residing on an SE. • lcg-uf  Unregisters in the the catalogue a file residing on an SE. • lcg-la  Lists the aliases for a given LFN, GUID or SURL. • lcg-lg  Gets the GUID for a given LFN or SURL. • lcg-lr  Lists the replicas for a given LFN, GUID or SURL • lcg-gt  Gets the TURL for a given SURL and transfer protocol. • lcg-sd  Sets file status to "Done" for a given SURL in an SRM's request. To change: View -> Header and Footer

  17. Použití v úlohách - vstup a výstup • viz auger_ddm_ex1.jdl To change: View -> Header and Footer

  18. Místo závěru • Další praktické ukázky To change: View -> Header and Footer

More Related