行きたいと夢見ていた場所にバーチャルで旅行したり、憧れの人と一緒にゴルフコースを回ることを想像してください。ボリュメトリック（3次元）キャプチャ技術は、そんな没入感を現実のものにします。スポーツやエンターテインメントから、警官や医者のトレーニングまで、Metastage社は106台ものカメラを備えたスタジオとボリュメトリックキャプチャの技術をさまざまな業界に提供しており、データに命を吹き込むリーディングカンパニーとなっています（詳しくは前回公開したコラムでご紹介しています）。
米ロサンゼルスを拠点とする開発スタジオ兼複合現実エージェンシーのTrigger XR共同設立者兼クリエイティブディレクター、Judd Kim氏は、「ボリュメトリックキャプチャには大量のデータが必要とされ、これらのファイルが超巨大になるのを目の当たりにしました」と述べています。
Metastageのスタジオでは、最大で毎秒30Gbpsのデータを取り込み、ホログラムを作成。記録時間が長ければ長いほど、データ量も多くなります。ホログラムの撮影・加工には、膨大な量のデータを結合・圧縮・転送・保存する必要があります。
「映像データ、音声データ、赤外線データ、3Dデータ、位置データなど、すべてのデータを同時に記録するのです。これらはすべてリアルタイムで高速に記録される必要があります」とKimは語り続けます。
Metastageのプロジェクトマネージャーでボリュメトリックキャプチャ技術者のAdam Titchenal氏によると、Metastageのボリュメトリックキャプチャ・スタジオに設置された106台のカメラは、53台の赤外線カメラと53台のRGBカメラで構成されています。各カメラがペアとなり、他のカメラとの位置関係を把握することで、空間的にスマートなデータセットを構築しています。
Metastageのボリュメトリックキャプチャスタジオで、106台のカメラがあらゆる角度から演者を撮影
赤外線カメラは、演者の形状を幾何学的にマッピングするために使用され、多数のポリゴン、三角形、頂点からなる 「メッシュ」を作成します。 RGBカメラは、メッシュにテクスチャーや色などのディテールを加えていきます。 アセットには1万ポリゴンから6万ポリゴンまであり、ファイルの重さや軽さによって変わります。テクスチャのサイズは1K～4Kピクセルです。
「テクスチャは、ポリグラフの形状に合うように、紙粘土のようにメッシュに巻きつけていきます」と、Titchenal氏は説明しています。彼は品質管理も担当しています。次の工程に進む前にすべてのプロジェクトを確認。時には前プロセスをやり直しになることもあるようです。
何度も繰り返された後、処理ソフトは非常に重いデータを、軽量で作業しやすいファイルサイズに変換してくれます。
最終的なアセットは10MBのファイルとして納品されます。スマホでストリーミングしたり、VRヘッドセットに組み込んだり、Webコンテンツとして配信するのに十分なサイズです。MetastageのCEOであるChristina Heller氏によると、この10MBのファイルは、毎秒30Gbpsの生データを1分間に70MBというファイルサイズに圧縮したものだそうです。このファイルサイズの小ささにより、Metastageとパートナーは、ウェブブラウザを使ったホログラフィック体験のような拡張現実（AR）アクティベーションを構築することができます。
「Metastageが取得する膨大な生データから、5Gモバイルストリーム上で発生しうる実際の消化可能なデータ量に落とし込むことができるのは、素晴らしいことです」とKimは述べています。
「ボリュメトリック・キャプチャの特徴は、従来のフィルム編集では難しいことですが、それがまた非常にパワフルであることです」と、Metastageの制作責任者であるSkylar Sweetman氏は述べています。「全身を撮影することで没入感が生まれます。このような臨場感を後世に伝えるために、360度フル映像にすることは特別なことです。ステージで起こったことを変えるのは難しい。その瞬間のその人の姿を完全に再現しているので、キャプチャの信憑性は高いのです」。
レガシーキャプチャやアーカイブキャプチャなど、作成されたアセットにはアーカイブ的な要素もあります。Metastageは、今までにホロコーストの生存者が自らの体験と生存を語るホログラムや、1960年代のブラックパンサーの記録映像のホログラム化、あるいはあるパフォーマーのキャリアのある特定の時期を捉えたホログラムなどを制作しています。
「Breonna’s Garden」は、最近トライベッカ映画祭と米国のイベントSXSWで公開されたプロジェクトです。これは、愛する人や見知らぬ人がホログラフィック・イメージとなってあなたのそばを歩き、悲しみを癒し、彼／彼女を思い出すことができる、カラフルで平和な空間として作られた追悼のオマージュなのです。
「このステージで誰かを撮影するとき、私たちがやっていることは、この瞬間をまるごと保存することです」とHellerは言います。「それは今日において、映画的に可能な限り、その人の存在に近いものとなります」。
「それは今日、映画的に可能な限り、本人の存在に最も近いものとなります」
今日、多くの人々はスマホのAR、またはウェブサイト上のARを通して、Metastageのコンテンツを体験することになるでしょう。Hellerによれば、この技術は現在のディスプレイ技術によって制限されるものだといいます。
「まったく新しい技術であり、3Dメガネをかけてホログラムが目の前に現れるのとは比較になりません。さらに、先のことを考えると、20年後にはメガネも必要なく、本当の3Dホログラフィックディスプレイを実際に見ることができるでしょう」と、Heller氏は言います。
プロジェクト終了後には、Metastageはソースデータを削除するか、クラウド上のコールドストレージにアップロードします。もし、クライアントが将来のために撮影したデータを保存し、別のクリップに再加工したい場合は、そのデータにアクセスすることもできます。Metastageでは、オンサイトストレージ、クラウドストレージ、ファイル転送用ストレージなど、膨大な数のストレージを活用しています。
Metastageはカナダのバンクーバーに、米ロサンゼルススタジオを忠実に再現した2つ目のスタジオを立ち上げるまで、業界内で唯一無二の存在でした。 デジタルコンテンツ制作の拠点として知られるこのスタジオは、バーチャルリアリティ、ゲーム、メタバースなどの開発者にサービスを提供しています。
Heller氏によると、他のボリュメトリック・キャプチャのソリューションでは、カメラの数が少なく、解像度の品質に問題があるとのことです。
「小規模なWeb ARについて語るとき、キャプチャ品質の良し悪しがそのまま製品の品質に直結するかも知れません」とHeller氏は語ります。「ヘッドセットで使用するVRの場合は、可能な限り高品質である必要があります」。
「もしあなたが、VRヘッドセットで楽しむなら、可能な限りの高品質なキャプチャデータが必要となります」
Heller氏によると、カメラアレイの小型化により、カメラの設置面積が小さくなり、処理コストも下がるとのことです。「しかし私たちは、世界のビッグブランドのために、106台のカメラで構成されるサウンドステージやこの規模のスタジオ・クオリティを常に提供していくことになるでしょう」とHeller氏は言います。
ボリュメトリック・キャプチャが没入型体験にどのように使われているかは、前回ご案内したコラム「メタバースの世界にデータが命を吹き込む」で詳しくご紹介しています。
著者：
Anne Herreria
※Western Digital BLOG 記事（JUNE 24, 2022）を翻訳して掲載しています。原文はこちら。
戻る
