420 likes | 522 Views
ATLAS Trigger/DAQ. S.Falciano - INFN Roma1. Outline presentazione. Progetto, partecipazione, milestones 2003 HLT/DAQ TDR : stato e contributi italiani Testbeam “Baseline architecture” e Costi Conclusioni (1) Trigger LVL1 Stato della costruzione
E N D
ATLAS Trigger/DAQ S.Falciano - INFN Roma1 Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Outline presentazione • Progetto, partecipazione, milestones 2003 • HLT/DAQ • TDR : stato e contributi italiani • Testbeam • “Baseline architecture” e Costi • Conclusioni (1) • Trigger LVL1 • Stato della costruzione • Verifiche in corso (test d’irraggiamento e testbeam) • Stato degli extra-costi : tabelle riassuntive • Conclusioni (2) Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Struttura del progetto TDAQ • LVL1 • Muon (barrel + endcap), MuCTPI • Calorimeter • CTP (Central Trigger Processor) • HLT • Detector slices • LVL2/EF Infrastructure • PESA (Physics and Event Selection Architecture) • DAQ • Data Flow • Online Software • DCS (Detector Control System) • Common activities • Architecture • Sw releases etc..... Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Attività italiane • Trigger di Livello-1 muoni (barrel) (Napoli, Roma1, Roma2) • Trigger di Livello-2 muoni (barrel) (Pisa, Roma1) • Trigger di Livello-2 pixel (Genova) • Event Filter (Lecce, Pavia, Roma3) • DAQ (LNF, Pavia, Roma1) • DAQ testbeam (TDAQ + gruppi detector) Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Incarichi nel progetto TDAQ • A.Nisati (Roma1) -> IB Chairperson e Coordinatore algoritmi muoni in PESA • V.Vercesi (Pavia) -> Coordinatore PESA (Physics and Event Selection Architecture) • F.Parodi (Genova) -> Coordinatore algoritmi b-tagging in PESA • S.Veneziano (Roma1) -> Coordinatore trigger LVL1 muoni barrel+endcap+MUCTPI • S.Falciano (Roma1) -> Coordinatore Detector Readout nel DIG e Detector HLT slices ... e per i testbeam • P.Morettini (Genova) -> Coordinatore DAQ testbeam H8 pixel • E.Pasqualucci (Roma1) -> Coordinatore DAQ testbeam H8 muoni Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Milestones 2003 • Marzo • Scrittura del nuovo software di Data Flow dell'Event Filter e Monitoring. • Integrazione completa del software di calibrazione dellecamere MDT nell'EF/DAQ del Testbeam. • Aprile • Integrazione e test "slice" verticale LVL1/HLT/DAQ/DCS per unrivelatore ATLAS (e.g. rivelatore di muoni) in laboratorio. • Giugno • Sottomissione al LHCC del Technical Design Report diHLT/DAQ/DCS. • Produzione 5% elettronica on-detector per il trigger di primo livello terminata. • Settembre • FDR elettronica off-detector per il trigger di primo livello. • Dicembre • Inizio produzione 100% dell'elettronica del trigger di primolivello. Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Stato Milestones 06/2003 • Marzo • Scrittura del nuovo software di Data Flow dell'Event Filter e Monitoring. 100%Il software, il cui disegno era iniziato nel 2002, e‘ stato completamente sviluppato ed e' ora utilizzato su testbeam. • Integrazione completa del software di calibrazione dellecamere MDT nell'EF/DAQ del Testbeam. 100% Anche questa integrazione, iniziata nel 2002, è stata effettuata ed e' operativa nell'attuale testbeam. • Aprile • Integrazione e test "slice" verticale LVL1/HLT/DAQ/DCS per unrivelatore ATLAS (e.g. rivelatore di muoni) in laboratorio. 100% Integrazione effettuata in laboratorio per LVL1/RPC/TGC e camere MDT (elettronica di lettura e software di acquisizione e trigger). Il testbed e' stato particolarmente utile per la messa a punto del software e di parte dello hardware per il testbeam del 2003. Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Stato Milestones 06/2003 (cont.) • Giugno • Sottomissione al LHCC del Technical Design Report diHLT/DAQ/DCS. Milestone in corso di completamento (30/6/2003). Il TDR è pronto per la stampa. I contributi italiani sono stati notevoli ed hanno riguardato il DAQ e i trigger di alto livello (LVL2 per Pixel e Muoni, adattamento programmi di ricostruzione offline all'Event Filter, framework software e responsabilità di alcuni capitoli importanti quali quello di PESA). • Produzione 5% elettronica on-detector per il trigger di primo livello terminata. 100% Pre-produzione Splitter Box terminata. I test iniziano entro il mese di giugno. 0% Pre-produzione delle PAD legata alla situazione finanziaria del LVL1 (vedi documento di E.Petrolo e S.Veneziano /Roma1 e A.Aloisio/Napoli). Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Attività HLT/DAQ • Algoritmi di trigger di LVL2 basati sui rivelatori Pixel, TileCal, RPC e MDT • Valutazione dei programmi di ricostruzione e calibrazione offline dei muoni (MOORE e CALIB) come candidati per i programmi di filtro e calibrazione online • Calcolo delle trigger rate • Software framework per HLT (CORE software) • Core software per l’Event Filter • Software per Data Flow (Data Collection e Monitoring) • Sviluppi DAQ per testbeam • Slice verticale di LVL1 + HLT per i muoni Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Flusso dei dati • in LVL1/HLT/DAQ • Lavoro caratterizzato da : • Attenzione verso i detector • Integrazione con il LVL1 • Validazione delle scelte Hw • e Sw attraverso Testbeam e Testbed Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
R O D C C C O R B O B E A M CC R O D C C T T C V i C O R B O A D C s T D C s B E A M CC A D C s T D C s C C A I/F R O D C C C O R B O C A N I/F R O D C C R O D C C C O R B O R O D C C C S M 0 R O D 0 P E B R O D 1 P E B ROD crate ROD crate Beam crate Beam crate C O R B O L D A Q R O B 2 E B I F R O B 0 R O B 1 T R G ROC1 Trigger crate C A M A C R O D C C A D C A D C A D C Local SF1 TileCal CDR Local SFn TTC Back-End Remote SF1 L D A Q TRG EBIF ROB Tilecal Remote SFn SFC1 Ethernet ROC1 S F I O L D A Q S F I O L D A Q Ethernet CDR SFC1 Muon Back-End B.Di Girolamo “Event Filter” DAQ Control Room SWITCH Online Calibration Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
SCT TRT Tilecal Tilecal S B C R O D s G P M S B C R O D G P M S B C R O D G P M S B C R O D G P M S B C G P M G P M … … … … … ROD Crate ROD Crate ROD Crate ROD Crate Beam Crate Muons S B C G P M G P M … Beam Crate RPC S B C R O D G P M LAr MDT … CTP & CTPI S B C R O D G P M S B C R O D G P M … … S B C R O D R O D … ROD Crate ROD Crate ROD Crate ROD Crate Pixel * n ID ROS * n LAr ROS Tilecal ROS Combined run 2004 - Global layout Muon ROS1 LVL1 Calo Muon ROS2 S B C R O D R O D … LVL1 Calo ROS * n CTP ROS ROD Crate To EB/EF Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Contributi al TDR • Studio e validazione delle componenti DAQ • Data Flow (Data Collection e Event Filter) • Online software (Configurazione, Monitoring, Run Control) • Detector software (ROD Crate DAQ, Data Format, Monitoring) • Studio e validazione degli HLT • Software framework (Athena) • Algoritmi di livello-2 (Pixel e Muoni) • Algoritmi di filtro e calibrazione ottenuti dai programmi offline (e.g. MOORE per la ricostruzione e CALIB per la calibrazione dei muoni) • Uso online dello schema di acceso ai dati dei rivelatori e alla loro geometria secondo l’Event Data Model (definizione e sviluppo software dei formati ByteStream dei dati dei rivelatori utilizzati e della loro definizone ad oggetti, Raw Data Objects utile per gli algoritmi di trigger) • Contributo alla scrittura e al coordinamento di importanti capitoli del TDR (vedi PESA) Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Perfect match of the two resolutions for pt = 20 GeV mFast physics performance HLT TP, layout M HLT TP, layout M HLT TDR, layout P Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Risoluzione in impulso Efficienza MOORE – Event Filter muon reconstruction Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Evoluzione del sistema e staging • Il sistema TDAQ è stato disegnato tale che dimensioni e performance evolvano in funzione della disponibilità delle risorse. Le performance finali corrispondono ad una trigger rate di Livello-1 di 100 kHz. • La stima dei costi del TDAQ di ATLAS è basata su un modello dettagliato del numero di componenti in funzione della rate di trigger di Livello-1 (e.g. 25-30 kHz, 75 kHz, 100 kHz). • Fattori di sicurezza sono applicati soprattutto nel tenere conto delle performance degli HLT (tempo di processamento degli eventi e fattori di reiezione) e del costo di componenti “custom” (come ad esempio i ROBin) e “commerciali” (come ad esempio i processori). • Si è arrivati a definire un profilo temporale di spesa che è un’evoluzione del sistema a partire dal commissioning del detector fino alla realizzazione di un TDAQ con le sue performance finali Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
40 MHz Calo MuTrCh ROD Other detectors RoI 75 kHz 40 MHz 120 GB/s D E T R/O LV L1 RRC FE Pipelines 2.5 ms ROB Lvl1 acc = 75 kHz ROIB L2SV Read-Out Drivers RoI data = 2% RRM 120 GB/s L2N H L T D A T A F L O W L2P ~ 10 ms ROD-ROB Connection R/O S Y S T E M LVL2 RoI Builder IOM ~2 kHz RoI requests ~3+3 GB/s Read-Out Buffers L2 Supervisor L2 N/work L2 Proc Unit EBN ROD-ROS Merger I/O Manager SFI DFM Lvl2 acc = ~2 kHz Dataflow Manager EFN E V B ~ sec Event Filter EFP EFP EFP EFP ~3 GB/s Sub-Farm Input SFO Event Filter Processors Event Filter N/work ~ 200 Hz ~ 300 MB/s EFacc = ~0.2 kHz Sub-Farm Output TDR Baseline architecture Trigger DAQ Event Building N/work Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Definizione dei sub-system HLT e DAQ • DAQ : • Detector R/O : ROBin, ROS, Infrastruttura • Event Builder : Data Flow Manager, Switch Farm Interface, EB network, Switch Farm Output con local storage • Online (Farm di processori per il software di controllo e monitoring, Network centrale, Infrastruttura relativa) • Infra-structure (switch, link, prodotti software, network management tools, etc.) • HLT : • Livello-2 (ROIBuilder, LVL2 Supervisor, Farm di processori di LVL2, Network, Infrastruttura) • Event Filter (Farm di processori EF, Network interno, Infrastruttura) • Pre-serie di HLT e DAQ : • include una versione su piccola scala del sistema allo scopo di validare l’implementazione del TDAQ (e.g. 10% di Detector R/O, 1 switch per LVL2, 1 switch per EF, 2 sub-farm e 5% del sistema online). • La maggior parte delle componenti è basata su COTS : commodity computer e communication hardware (e.g. PCs e Gigabit Ethernet) e strumentazione relativa. Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
All in USA15 (underground) -TDAQ present allocation : 11 racks (52 U) Bus-based ROS : 564 U Network R/O (ROB-VME) : 512 U http://documents.cern.ch/cgi-bin/setlink?base=agenda&categ=a03434&id=a03434s1t1/moreinfo 100 kHz LVL1 - Full TTC partitioning R C C R O D R O D R O D R O D R C C R O D R O D R O D R O D … … … ROL ROL ROL ROL ROL ROL ROL ROL GbE GbE … … … ROBin PCI bus ROBin PCI bus PCI bus PCI bus ROBin ROBin GbE GbE GbE GbE GbE GbE GbE GbE GbE GbE Dataflow s/w supports both I/O path Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1 GbE Links to SDX15 (surface)
Costi di HLT/DAQ(approx.) in kCHF PRELIMINARE !!!! Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Costi di HLT/DAQ(approx.) in kEuro PRELIMINARE !!!! Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Item & Sub-system breakdown PRELIMINARE !!!! Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Richieste CORE e alcuni commenti • Si chiede di mantenere gli impegni INFN verso il sistema HLT/DAQ di ATLAS soprattutto a fronte della qualità del lavoro svolto e programmato per il futuro dai gruppi italiani che operano in questo sub-system. • Si chiede di approvare il profilo di spesa citato nella percentuale del 13% del totale, con la necessità assoluta di mantenerlo invariato negli anni 2005-2007 e di contribuire alla spesa della pre-serie nel 2004 in modo da partecipare ai primi test del sistema completo del DAQ sui testbed del Cern e su Testbeam • L’allungamento del profilo di spesa su piu’ anni rispetto al profilo di spesa già approvato, dovrebbe consentire all’INFN di distribuire meglio le risorse negli anni di picco, sebbene ci sia una richiesta di Atlas di anticipare i “deferral” al 2004. Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Trigger di Livello-1 m barrel • Studio delle prestazioni del trigger e sviluppo del codice di simulazione • Sviluppo elettronica on-detector • connessioni del Front-End con trigger e readout • ASIC Matrice di Coincidenza • PAD e Splitter Boxes • Link ottico (Tx) • Sviluppo elettronica off-detector • Readout Driver • Sector Logic • Link ottico (Rx) • Il sistema d trigger di Livello-1 nel barrel è anche il sistema di lettura degli RPC. Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Overview 350,000 canali 870 splitter boxes On-detector 430 Low Pt boxes 35 kW 430 High Pt boxes Off-detector 16 crates VME Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Stato del sistema • In laboratorio e' stata installata una slice del sistema al fine di: • Identificare le modifiche necessarie per la versione finale; • preparare il testbeam. • (Milestone 2003) • I protitipi on-detector di una slice, con tutte le funzionalità e richieste sul numero di canali finali, sono attualmente ad H8. • Il software di inizializzazione e controllo ha tutte le funzionalità minimali per essere usato su test beam. • I prototipi dell'elettronica off-detector sono a livello di dimostratori, e ci permetteranno di acquisire su fascio durante l'estate. • L'integrazione con il DAQ è iniziata nel laboratorio di Roma ad Aprile. Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Splitter boards e motherboard h boards Link Off detector RX SL demonstrator Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Sistemi di test per la produzione • Tutte le schede di test necessarie per la produzione sono state sviluppate in casa e dalla CAEN all'interno del progetto 5%. • Il software JTAG e' stato aggiornato Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Slice test CAN VME TTC High Pt Power Trigger LowPt VME RX Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Test beam ad H8-CERN • Maggio – settembre. Il Livello-1 ha una settimana a maggio dedicata al run a 25 ns (solo TGC e MUCTPI). Gli RPC hanno un periodo dedicato a fine luglio di circa dieci giorni, ma la presa dati sarà possibile per quasi tutto il periodo. • Si stanno attualmente cablando ed equipaggiando con il readout la metà inferiore di due camere BML e BOL, che realizzano due torri di trigger complete (BB5). • Con questo Testbeam si vogliono collaudare: • Tutte le schede alloggiate nella Splitter Box • Tutte le schede alloggiate nella PAD • E ottenere un input per la seconda versione del prototipo ASIC • Tutta la catena di trigger/readout è stata già integrata e collaudata in laboratorio. Il successo di questo Testbeam è importante per lanciare la produzione dell’elettronica on-detector. Abbiamo bisogno di missioni per lavorare a questo test, come documentato ampiamente nella richiesta inviata ai Referee. • Importanza del Run Combinato del 2004 per il Trigger di Livello-1 : • Integrazione elettronica on-detector e off-detector per il Barrel Muon Trigger • Integrazione Barrel e Endcap Muon Trigger con MUCTPI • Muon + Calo Trigger con CTP (LVL1 Central Trigger Processor) Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Test beam 2003 Gli sforzi sono stati rivolti ad una prima integrazione a maggio dell'elettronica presente a marzo in laboratorio, in attesa della seconda versione delle PAD e CM, da usare nel periodo dedicato di luglio e settembre. • Set-up ad H8 : 1 Splitter e 1 PAD per low-pT 1 Splitter e 1 PAD per high-pT ROD Crate : SBC, TDC, TTCvi, RX, BUSY PC con LDAQ per Config via CANBUS Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Test d'irraggiamento • Test effettuati : • 9-11 maggio PSI • 2-3 giugno Lovanio • 17-19 giugno ISS • I componenti irraggiati sono quelli della tabella e i risultati mostrano che sono in grado di tollerare la radiazione equivalente a 10 anni di run di LHC (3 krad, 1011p/cm2) • S.Veneziano e R.Vari Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Milestones 2003 • Finalizzazione elettronica off-detector e inizio produzione elettronica on-detector (integrazione RPC-MDT) • (AT) 31 gennaio PRR PAD-OR e SPLITTER (ok) • (AT) 31 marzo PRR PAD motherboard (rinviato) , CM boards (no) e Optical Link (ok) • Aprile integrazione e test slice verticale LVL1/DAQ/DCS in laboratorio (ok) • (AT) 30 aprile radiation tests of all on-detector components (ok) • Giugno: fine produzione preserie elettronica on-detector (Splitter ok) • (AT) 30 giugno preserie on-detector electronics available • Giugno-settembre: test beam per validare la slice on-detector. In produzione solo se il test avra' successo. • (AT) 30 settembre RPC integration start, FDR SL e ROD, PRR of CM ASIC • (AT) 31 ottobre, fine del system test della on-detector electonics before mass production • (AT) Dicembre: inizio produzione 100% elettronica on-detector Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Schedula ATLAS 2004-2007 • Estate 2004: test beam full trigger-readout slice. • (AT) Ottobre 2004: RPC pronti all'istallazione • (AT) Ottobre 2004: off-detector electronics system test before mass-production end. • (AT) Novembre 2004: 100% on-detector electronics available • (AT) Febbraio 2005: 100% off-detector electronics available • Marzo-Novembre 2005: Muon-barrel trigger commissioning • (AT) Dicembre 2005: Muon Barrel trigger available • (AT) Agosto 2006: ATLAS Commissioning starts Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Commenti introduttivi ai profili di spesa • I progetti delle schede sono partiti nell’ambito del progetto 5% (partner industriale). Tali finanziamenti hanno coperto: • 2002 • Prototipo PAD motherboard low pt • Prototipo PAD motherboard high pt • Prototipo PAD OR • Schede di test per PAD e Splitter • Prima versione link TX-RX ed FPGA. • Prototipo finale PAD • Prototipi schede CM Phi e CM Eta • 2003 • Preproduzione PAD, schede CM (preserie) • Lo sviluppo e il profilo di spesa presentati nel documento seguono la schedula d’installazione del detector. Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Stato degli extra-costi • Recentissima revisione (17/06/2003) del costo di alcuni componenti dovuta a : • un’offerta della collaborazione di contribuirecon 400 kCHF (-> Splitter) • Nuova offerta e cambio favorevole tra dollaro e euro (-> ASIC) • Ulteriore possibile riduzione (141 kEuro) del costo NRE (-> PAD) • Inoltre si propone l’acquisto del sistema di basse tensioni nel 2005 e 2006, acquistando il primo anno un sistema minimale e i cavi. Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Livello 1 – Summary table (kEuro) Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Contributi agli extra-costi • Splitter (322 -> 543-259 -> 284 kEuro) • Introdotti in corso d’opera (per conversione segnale dal front-end al processore di trigger) sono circa 11800 schede. Questa introduzione ha comportato anche aumenti CORE per power supplies, connettori e cavi. Una pre-produzione di 38 schede completamente equipaggiate è stata gia’ finanziata con 30 kEuro. Le schede sono già a BB5. Per ridurre i costi della produzione finale il gruppo gestirà l’acquisto dei componenti e la produzione, tutti i test verranno eseguiti “in casa”. • PAD (851 -> 1523 kEuro) • Essenzialmente costo industriale (fattore 1,48). Costo del materiale 1080 kEuro. La differenza copre la gestione della produzione e i test che altrimenti devono essere gestiti dal gruppo (questa seconda scelta ha comunque un impatto sul manpower INFN e quindi sulla schedula d’installazione). Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Contributi agli extra-costi (cont.) • Link (215 -> 415 kEuro) • L’aumento dei costi è stato rivisto di recente e per contenerlo si sono dimezzati i link (mux dati di trigger e readout) che purtroppo ha complicato l’elettronica off-detector e modificato il firmware della PAD, ha avuto un impatto sulla latenza. • Cavi (181 -> 415 kEuro) • L’introduzione delle Splitter box ha aumentato il numero dei cavi di un fattore circa 3. Al CERN si stanno cercando fornitori diversi per abbassare i costi. • Low Voltage (100 -> 668 kEuro) • Stima da rivedere nel 2004, basata inizialmente su un unico fornitore (le richieste al sistema si sono evolute nel tempo, e.g. rad tolerant, etc.). • Nuovi item(90 kEuro) • Si sono accumulati nelle revisioni recenti delle interfaccie al sistema. Sono Crate Procesors, CAN driver cards, CAN cables, PAD-Splitter control cables, ROL source cards. Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Livello 1 – Profilo di spesa Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1
Conclusioni Livello-1 • Nell’ultima revisione dei costi (V 2.0) si e’ cercato di presentare più scenari e, per alcuni di essi, le possibili riduzioni dei costi e il carico di lavoro che esse implicano per il gruppo (vedi Splitter, PAD e Link) • Si è anche cercato di capire come diluire la spesa nel tempo per alcuni item che possono attendere (Low Voltage si potrebbe in parte spostare al 2006) • Cifra CORE richiesta per il 2003 : • sblocchi sj per far partire le gare fino ad un massimo delle intere cifre richieste; in particolare il sj per lASIC serve per il secondo run; • finanziamenti per l’acquisto dei cavi da istallare nello Spettrometro prima dell’istallazione del detector. • Cifra CORE richiesta per il 2004 : • tutte le cifre in tabella. Gruppo1 - 24/06/2003 S.Falciano - INFN Roma1