1 / 22

E16 実験への DAQ-Middleware の応用

E16 実験への DAQ-Middleware の応用. 濱田英太郎 , 田中真伸 , 内田智久 , 池野正弘 , 千代浩司 , 四日市悟 A , 小沢恭一郎 , 森野雄平 A , 高橋智則 A , 中井恒 BA , 川間大介 A , 小原裕貴 B KEK 素核研 , 理研 A, 東大理 B. 目次. ・ E16 実験について ・ DAQ-Middleware について ・作成したプロトタイプの紹介 概要 ２つの特徴 DAQ 性能 ・まとめ. E16 実験. 茨城県東海村 J-PARC ハドロン実験施設で開始予定

nellis
Download Presentation

E16 実験への DAQ-Middleware の応用

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. E16実験へのDAQ-Middlewareの応用 濱田英太郎, 田中真伸, 内田智久, 池野正弘, 千代浩司, 四日市悟A, 小沢恭一郎, 森野雄平A, 高橋智則A, 中井恒BA, 川間大介A, 小原裕貴B KEK素核研, 理研A, 東大理B 日本物理学会

  2. 目次 ・E16実験について ・DAQ-Middlewareについて ・作成したプロトタイプの紹介 • 概要 • ２つの特徴 • DAQ性能 ・まとめ 日本物理学会

  3. E16実験 • 茨城県東海村 J-PARCハドロン実験施設で開始予定 • ベクトル中間子の質量変化現象を高統計・高分解能で測定 日本物理学会

  4. 自分の担当 ~96000 ch (56000+40000) DAQ-Middlewareを用いて、データ収集、保存、解析を行なうソフトウェアを作成 CERN RD51 SRS GEM DTC-LINK APV25-hybrd Junction box SRS ADC+FEC Tracker SRS SRU HBD Gas Cherenkov TRG-ADTX (ASD) SRS CTF Belle2 FTSW or alternative Network switch DAQ PC TRG-MRG (MUX, GTX) ４５０MB/ｓ Belle2 UT-3 Leadglass EMCAL LG-FEM Data flow 3“ PMT Trigger primitive SRS SRU Shaper + FADC Global clock, global trigger ~1000 ch SRS CTF DTC-LINK Discri + DRS4 日本物理学会

  5. DAQ-Middleware　ネットワーク分散 ネットワーク分散 分散して配置されたノード同士が連携して通信するネットワークを形成 PC2 PC1 PC3 PC4 Daq Operator 日本物理学会

  6. E16実験　DAQソフトウェア開発状況 • PC1台を用いて構成されるプロトタイプを作成、評価 • プロトタイプを利用して、全体の構築を行なっていく Daq Operator 日本物理学会

  7. E16実験用プロトタイプ　概要 １リードアウトモジュール から送られるデータ • Gatherer :複数のリードアウトモジュールからデータを読み込み • Dispacher :Gathererから受け取ったデータを、LoggerとMonitorに送信 • Logger :全データをPCのハードディスクに保存 • Monitor : 一定期間ごとにデータをモニタリング PC ・・・ Logger Gatherer Dispatcher Monitor 日本物理学会

  8. 特徴１　リングバッファの拡大 ①受信したデータは、 リングバッファに格納 ②プログラムがバッファからデータを取得 Loggerコンポーネントでリングバッファが小さい場合 ①ハードディスクの書き込みにレイテンシが発生するときがある （しばらく書き込めない） ②書きこめない間、処理が進まない ③リングバッファにデータが溜まっていき、あふれてしまうことがある ④ソフトウェア全体が適切に動作しない リングバッファを大きくする(最新の追加機能） HD書き込みのレイテンシの問題を解決 PC Logger ・・・ Gatherer Dispatcher Monitor 日本物理学会

  9. 特徴２　コンポーネント間通信処理オーバヘッドの軽減特徴２　コンポーネント間通信処理オーバヘッドの軽減 • オーバヘッド • コンポーネント間でのデータのやり取りを行なう際の転送以外の処理 • 多いとDAQ性能の低下につながる • 影響を小さくする方法 • コンポーネント間のデータのやり取りを少なくする • データをまとめる Logger Gatherer Dispatcher 1イベントごとに次の コンポーネントへ送る →オーバヘッド大きい 200KBたまったら次の コンポーネントへ送る →オーバヘッド小さい Monitor 1event 200KB 日本物理学会

  10. DAQ性能 PC （DAQ PC） CPU Intel(R) Xeon(R) X5650 @ 2.67GHz 6コア Memory 24GB OS Scientific Linux 6.4 DAQ-MW テスト環境 PC （エミュレータ） １リードアウトモジュール から送られるデータ テスト方法 エミュレータPCからDAQ PCにテストデータを送信 送ったデータの転送速度とプロトタイプの処理速度を比較 日本物理学会

  11. DAQ性能 PC （DAQ PC） CPU Intel(R) Xeon(R) X5650 @ 2.67GHz 6コア Memory 24GB OS Scientific Linux 6.4 DAQ-MW テスト環境 PC （エミュレータ） テスト結果　 １リードアウトモジュール から送られるデータ 2kHzまで、プロトタイプは送られたデータ全てを処理している 日本物理学会

  12. DAQ性能 PC （DAQ PC） CPU Intel(R) Xeon(R) X5650 @ 2.67GHz 6コア Memory 24GB OS Scientific Linux 6.4 DAQ-MW テスト環境 PC （エミュレータ） テスト結果　 １リードアウトモジュール から送られるデータ 2kHzまで、プロトタイプは送られたデータ全てを処理している 日本物理学会

  13. まとめ • E16実験DAQのソフトウェアを開発 現在は、1PCで動くプロトタイプを作成 • E16実験用プロトタイプ 特徴 • リングバッファの拡大 • コンポーネント間通信処理オーバヘッドの軽減 性能 • リードアウトモジュール1台の場合、実験の想定された性能を満たしている • 今後の予定 • 多くのエミュレータを用意した場合のテスト • プロトタイプを用いて、システム全体の設計を行なっていく 日本物理学会

  14. Backup 日本物理学会

  15. DAQ性能 PC （DAQ PC） CPU Intel(R) Xeon(R) X5650 @ 2.67GHz 6コア Memory 24GB OS Scientific Linux 6.4 DAQ-MW テスト環境 PC （エミュレータ） PC （エミュレータ） スケーラブルの変化ではない Gathererコンポーネントをが1つのCPUコアで処理されているから テスト結果　 DAQ PCに求められる性能 2kHzまで、プロトタイプは送られたデータ全てを処理している 日本物理学会

  16. コンポーネントの考えている構成 考えている構成 Gatherコンポーネントを1つのＣＰＵコアで処理を行なっている (2つ以上のモジュールを読む場合でも） PC Logger ・・・ Gatherer Dispatcher Monitor PC 今 Gatherコンポーネントを1つのＣＰＵコアで処理を行なっている (2つ以上のモジュールを読む場合でも） Logger Dispatcher Monitor Gatherer 日本物理学会

  17. 全テスト結果 日本物理学会

  18. PC使用率 TOPコマンドを用いて、GathererコンポーネントのCPU使用率を取得 trigger rateをあがるにつれてCPU使用率も上昇 １イベントあたりのデータ量が上がるにつれてCPU使用率も上昇 日本物理学会

  19. overhead 性能テスト 1イベントあたりのデータ量 14kBの場合 日本物理学会

  20. DAQ性能 PC CPU Intel(R) Xeon(R) X5650 @ 2.67GHz 6コア Memory 24GB OS Scientific Linux 6.4 DAQ-MW • 1イベントのデータを16回かけて送信 • 実験では、1kHz～2kHz 　　この間では、問題ない • 2modulesにすると、性能が落ちる Gatherが１コアで処理を行なって 　　 いるから テスト環境 PC （エミュレータ） 日本物理学会

  21. 4components Source Dispacher Sink Sink の４つのコンポーネント SourceはDispacherに、データを送ります。 Dispacherは、exampleと変わっていません。２つのSinkにデータを送ります。 Source,Sinkは千代さんが以前、性能テストで使ったコンポーネントと同じことを行なっています。 各BufferSizeを5分間測定したときの結果です。

  22. 4components Source Dispacher Sink Sink の４つのコンポーネント SourceはDispacherに、データを送ります。 Dispacherは、exampleと変わっていません。２つのSinkにデータを送ります。 Source,Sinkは千代さんが以前、性能テストで使ったコンポーネントと同じことを行なっています。 各BufferSizeを30分間測定したときの結果です。 これを5回行ないました。 （色の違いは、何回目に測定したか、です） 30分測定こともあり、ほとんど色にばらつきはありません この結果より、このコンポーネントの組み合わせの場合、最大約340MB/sのスループットで処理できることが分かりました。

More Related