パリ大学が骋谤补辫丑肠辞谤别の滨笔鲍で宇宙论アプリケーションを加速させる

パリ大学のある研究者がGraphcoreのIPUを使って、宇宙论アプリケーションのためのニューラルネットワーク学习を加速させています。

今回発表されたでは、研究员のBastien Arcelinが、宇宙论における2つのディープラーニングのユースケース（学习したVAE潜在空间からの银河の画像生成と、

决定论的ディープニューラルネットワークとベイジアンニューラルネットワーク（BNN）を用いた银河の形状推定）に対するIPUプロセッサの适合性とパフォーマンスについて调査しています。

ビッグデータ

近い将来、天文学の调査では、これまでにない量の観测データが作成されます。ヴェラ·C·ルービン天文台の「时空间レガシーサーベイ（LSST）」プロジェクトもその一つで、毎晩20テラバイト、10年间の稼働で合计约60ペタバイトのデータが生成されると予想されています。

このような大规模で复雑なデータセットを管理することを目的とした、宇宙论の研究者によるニューラルネットワークの利用が増えています。

しかし、実世界の観测では未知の変数や制御できない変数がとても多いため、この种のデータでニューラルネットワークを学习することは非常に困难になります。

多くのAIアプリケーションと同様に、正确なパラメータを把握して制御できるシミュレーションデータが学习にも最适です。

そしてそのようなデータの量と品质は、LSSTのような测光による银河调査で记録された実データにできるだけ近いものであることが理想的です。

またこの模拟データは大规模かつ复雑であるため、関连するニューラルネットワークは高速かつ正确である必要があり、アプリケーションによっては认识论的不确実性を正确に特徴づけることができなければなりません。

このような计算面での要求は、「AI専用に设计されたハードウェアは、宇宙论におけるディープラーニングにおいて优れたパフォーマンスを発挥できるのか」という疑问を提起します。

GraphcoreのIPUはグラフ（あらゆるAIアルゴリズムの背景にある基本构造）を効率的に処理するように设计されているので、この理论を検証するための理想的な模范プロセッサとなっています。

今回の研究では、Graphcoreの第1世代チップであるGC2 IPU 1台とNvidia V100 GPU 1台のパフォーマンスが比较されています。

小さなバッチサイズでニューラルネットワークを学习する场合、DNNではIPUがGPUの2倍以上、BNNでは4倍以上の速度で动作することがわかりました。そしてGC2 IPUは、GPUの半分の消费电力でこのパフォーマンスを达成しました。

TensorFlow 1とTensorFlow 2は、统合されたXLAバックエンドを备えたIPUで完全にサポートされているので、すべての実験でTensorFlow 2.1のフレームワークが使用されました。

银河の画像生成

银河など、宇宙の起源のシミュレーションに基づくデータは従来、

セルシックのプロファイルのような単纯な解析的プロファイルに基づくもので、モデルのバイアスをもたらすリスクを高める、遅い生成技术でした。

ディープラーニングの手法は、データをはるかに高速にシミュレーションできる可能性があります。宇宙论におけるさまざまなアプリケーションにおいて、生成ニューラルネットワークが银河のモデル化に採用されることが多くなっています（Lanusseおよびその他（2020年）、Regier、McAuliffe、Prabhat（2015年）、Arcelinおよびその他（2021年）など）。

画像は、孤立银河の画像で学习された変分オートエンコーダ（VAE）の潜在空间分布をサンプリングすることで生成されます。

この场合、画像の小さなバッチを生成するときは、IPUがGPUよりも优れていることがわかります。

このワークロードをGraphcoreの第2世代IPUであるGC200で実行した场合、このプロセッサのオンチップメモリは大幅に拡张されているため、より大きなバッチを生成するときのパフォーマンスが大幅に向上する可能性が高いと考えられます。

银河の形状パラメータ推定

次世代の天文学调査では、かつてないほど宇宙の奥深くまで観察することになるため、天体が混合（重复）してしまう确率が高くなります。银河の一部が覆われていると、银河の形状を测定するのが难しくなることは明らかです。

银河の形状を测定する既存の手法では、このような重なり合う天体を正确に测定できないため、今后さらに宇宙の観测を进めていくにつれて新たな技术が必要になってきます。

パリ大学の研究者であるBastien Arcelinは、孤立银河と混合银河の形状楕円率のパラメータを测定するために、ディープニューラルネットワークと畳み込み层を用いた新しい技术を开発しています。

1回目の実験は决定论的ニューラルネットワークを用いて、2回目の実験はBNNを用いて行われました。决定论的ネットワークの学习可能なパラメータは、一度学习すると固定値となり、同じ孤立银河の画像をネットワークに2回入力しても変化しません。これは、重み付け自体を単一の値ではなく、确率分布で割り当てるBNNとは対照的です。つまり、BNNネットワークに同じ画像を2回入力すると、确率分布のサンプリングが2回行われ、2つの微妙に异なる出力が得られるということです。これらの分布を复数回サンプリングすることで、结果の认识论的不确実性を推定できます。

决定论的ニューラルネットワークでは、GPUに比べてGraphcoreのIPUの方が学习时间が短く、特に小さいバッチサイズを使用した场合に顕着です。IPUの技术はすでに、コンピュータビジョンアプリケーションにおける畳み込みニューラルネットワークの効率を上げることで知られているので、これは惊くべきことではありません。

次に、この手法をベイジアンニューラルネットワークでテストしました。ニューラルネットワークの予测に対する信頼度を确立できるかどうかは、宇宙论の研究者にとってとても重要です。研究者はBNNを使って、予测に関连する认识论的不确実性を计算できるので、予测の信頼度を决定するのに役立ちます。认识论的不确実性は大きな测定误差と强い相関があるからです。

BNNでも、GPUよりもIPUの方が、学习时间が4倍以上も短くなっています。

以上から明らかなように、IPUは银河の形状パラメータ推定において人工ニューラルネットワークの学習時間を大幅に短縮でき、この研究のように1台のIPUを使用する场合には、小さなバッチサイズで最高のパフォーマンスを発挥します。バッチサイズが大きい场合でも、ネットワークを复数のIPUに分割することでパフォーマンスと効率を向上させることができます。