2024年09月27日
エクサバイト級のCERNデータセンターの内部

大型ハドロン衝突型加速器(LHC)(Brice, M.撮影、CERN提供)

ジュネーブ郊外、田園地帯の地下に、世界最大かつ最もパワフルな粒子破砕装置「大型ハドロン衝突型加速器(LHC)」があります。

欧州原子核研究機構(CERN)が運営するこのLHCは、ビッグバン直後の状態を再現することで宇宙の起源を探っています。LHCは、17マイルの円形地下トンネル内に設置されており、陽子とイオンを光速に近いスピードまで加速します。粒子は毎秒11,000回という驚異的なスピードで回転し、一秒間に約6億回も衝突します。

衝突エネルギーの総量は、別の宇宙を誕生させるには及びませんが、そのエネルギーが極小の陽子ビームに集中しているという事実により、物理学者たちは物質の根本的な構成要素や宇宙を解明する手がかりを得ることができます。

1ペタバイト/秒

CERNのコンピューティングインフラは、その科学的な取り組みと同じくらい極めて野心的です。素粒子は肉眼で見ることはできません。そのため、物理学者は衝突のたびに放出される何兆個もの粒子を検出し、測定し、可視化する方法を創案しなければなりません。粒子の中には、わずか7垓(がい)分の1秒(小数点の後にゼロが22個続く)しか存在しないものもあります。

複雑なデバイスを何層にも重ねたLHCは、毎秒ペタバイト単位という驚異的な量の衝突データを生成します。CERNのITファブリックグループの副グループリーダーであるEric Bonfillou氏は、これを「誰も扱いきれないほどのデータ量」と表現しています。

LHC内のコンピューティングファームでは、このデータをリアルタイムでふるいにかけ、フィルタリングしています。最も重要なデータだけがプライマリーデータセンターに送られ、現在では1エクサバイト超のデータが格納されています。

Bonfillou氏とITファブリックグループは、データセンターや関連するコンピューティング施設を含め、CERNの実験やユーザーコミュニティにIT機器を提供するシステム層の調達、管理、運用を担っています。

長年にわたり、Bonfillou氏はCERNのITデータセンターが棚に積み上げられた質素なPCファームから、現在の業界標準のラックアーキテクチャーへと変貌する姿を見守ってきました。このデータセンターには、1万台以上のサーバー、10万台のハードディスクドライブ(HDD)、約50万個のプロセッシングコアが収容されています。研究の世界でも、これは最も要求の厳しいコンピューティング環境の1つです。

「ここでの課題は、現存する制約の中でより多くのリソース、ストレージ容量、コンピューティング能力を投入し続ける必要があるということです」とBonfillou氏は語っています。

これらの制約は主にコストと電力です。23の加盟国の支援によって支えられている公的機関にとって、最も重要な指標の1つがストレージ効率です。すなわち、支出した1ドルごとに最大限の容量を確保することです。

より大規模、より高速、より高エネルギー

最近、LHCはRun3と呼ばれる一連の実験のために、2回目となるアップグレードを実施しました。Run3では、前例のない衝突エネルギーで粒子を粉砕します。粒子加速器チェーンの大部分がアップグレードされたことにより、衝突型加速器はより多くのエネルギーを生み出し、より多くの衝突を引き起こすことが可能になり、微小粒子を精密に研究する実験を実施できるようになりました。

アップグレードにより威力が増したことで、Run3は以前よりも多くのデータが収集できるようになりました。

収集されたこれらのデータを収納するために、Bonfillou氏と彼のチームは新しいストレージを探す必要がありました。単に大容量を保管するだけでなく、膨大な量のデータを高速でストレージへ送り込む能力が求められました。

フラッシュストレージは、HDDよりもはるかに高性能なストレージですが、「容量あたりのコストが課題となるため、ストレージの選択は慎重になるべきです」とBonfillou氏は述べています。

HDDの性能を集約することは、困難が伴います。エンタープライズHDDは、非常に過酷なデータ処理でも動作するように設計されていますが、激しく動作すればするほど、より多くの熱が発生します。サーバーに大量のドライブが詰め込まれている場合、ドライブの過熱を防ぐために、温度しきい値によってHDDのパフォーマンスを意図的に制限することがあります。

さらに、HDDの読み取りと書き込みを行う磁気ヘッドの位置決めの精度は、ミクロレベル(人間の髪の毛の太さの約90分の1)です。隣り合った数十台のHDDが最大速度で回転すると、振動が発生してHDDヘッドの配置に影響を与える可能性があり、結果としてスループットとパフォーマンスに影響が出ます。

新世代のJBOD

新たな解決策を模索するため、Bonfillou氏はウエスタンデジタルを含むCERNのさまざまな技術パートナーと定期的に議論を交わします。CERNとウエスタンデジタルは長年にわたり提携しており、四半期ごとのミーティングでは、CERNで使用中の製品について技術者同士が話し合い、ウエスタンデジタルのHDDやフラッシュソリューションポートフォリオの開発状況を共有しています。

Bonfillou氏が次世代衝突型加速器の要件を共有したとき、チームはウエスタンデジタルのJBOD(Just a Bunch of Drives)の新シリーズ、Ultrastarハイブリッドストレージプラットフォームをテストするよう提案しました。

JBODは、大規模データセンターにとって主力となる装置です(CERNも10年以上前から使用しています)。余分な機能を削ぎ落したラックサイズのエンクロージャー(筐体)は、複雑な作業をほとんど伴わず容量を拡張できるように設計されています。このため、技術革新が盛んに行われる分野ではありませんでした。

しかしウエスタンデジタルは、HDDとSSDの製造における専門知識を活かして独自に最適化された自社デバイス用エンクロージャを開発し、データセンターの統合システムを革新できることに気付きました。

Ultrastarストレージプラットフォームでは、エンクロージャ内の空気の循環を改善しながら、状況により回転振動を60%以上低減するいくつかの技術を導入しました。これにより、すべてのドライブが過酷な状態で動作している場合でも、パフォーマンスをより適切に維持できるようになりました。その結果、より低温で動作し、消費電力も少ない高性能なJBODが実現したのです。

これらの数値はRun3の要求に応える魅力的な製品ではありましたが、採用されるまでにCERNの驚くほど厳しい検査を通過する必要がありました。

新たな科学、そして新しいデータセンター

3年以上の停止期間を経て、LHCのRun3は2022年夏に再開されました。100トンを超える超流動ヘリウムがLHCのパイプを流れ、華氏マイナス456度(宇宙空間よりも低い温度)まで冷却され、世界で最も複雑な科学機器の中を粒子が流れ始めました。

Bonfillou氏は、Run3の開始に伴う興奮の陰で一抹の不安があったことを認めています。「CERNは人類の未体験に挑戦しています。まさに唯一無二です。何が起こるかわからないし比較もできず、すべてがうまくいく保証もありません」と打ち明けます。

それでもBonfillou氏はすべてが順調に稼動していることを確認しています。ウエスタンデジタルのJBODは電力、パフォーマンス、容量、信頼性に関するあらゆる厳しい要件を満たしており、現在ではエクサバイトのしきい値を超えたばかりのCERNのデータセンターに統合されています。各ボックスはコーヒーテーブルほどのサイズですが、最大2ペタバイトのストレージを搭載することができます。これを組み合わせることで、数ペタバイトの容量を提供しながら実験データのスループット要件を満たすことができたため、LHCの衝突サイトで直接使用されるようになりました。

Bonfillou氏と彼のチームには、これらの成功を祝う時間は残念ながらありません。CERNは、2029年に開始する予定の次のRun4に向けて、計算能力を拡張するための新しいデータセンターの建設を完了しつつあります。
新しいデータセンターはフランスの国境地帯に位置し、Bonfillou氏にさらなるコンピューティング能力を提供することになります。

「ウエスタンデジタルは、Run4で想定されるコンピューティングニーズに備えて準備を進めてくれていますが、現在の市場には、予測されている数値でデータを転送し保存できる製品が存在しないため、目標をクリアするためのハードルは高いです」と同氏は語っています。

科学者たちがLHCの実験を通じて答えを模索している中、彼らはCERNデータセンターとその技術パートナーの能力を頼りにたゆまぬ革新を行い、宇宙を探求するために可能性の限界を押し広げていくことでしょう。

CERNのデータセンターのバーチャルツアーはこちら
ウエスタンデジタルのJBODについてはこちらをご覧ください。

 

アートワーク:Cat Tervo(キャット・テルヴォ)

著者:Ronni Shendar Ronni Shendar
※Western Digital BLOG 記事( APRIL 30, 2024)を翻訳して掲載しています。原文はこちらから。

戻る