クラウド インフラストラクチャに対する Google の AI アップデートの詳細 • The Register

Aug 10, 2023

Cloud Next Google は今年の Cloud Next で AI に非常に重点を置いており、TPU アップデート、GPU オプション、それらすべてを機能させるための一連のソフトウェア ツールを含む多数のハードウェア プロジェクトを実施しています。

サンフランシスコの大規模なモスコーン センターで開催された、パンデミック前以来初の対面バージョンのイベントで、Google は、最新の Tensor Processing Unit AI アクセラレータである Cloud TPU v5e と、それを利用した仮想マシン インスタンスの詳細を明らかにしました。 Nvidia H100 GPU による。

TPU は機械学習を高速化するための Google のカスタム シリコンであり、Cloud TPU サービスは、Jax や PyTorch などの他のフレームワークに加え、同社独自の TensorFlow 機械学習フレームワークをベースにしています。

以前の AI チップである TPU v4 は 2021 年に正式にリリースされましたが、検索大手はその数年前からテストを行っていました。

Google は、Cloud TPU v5e を使用すると、Cloud TPU v4 と比較して、大規模言語モデル (LLM) と生成 AI で 1 ドルあたりのトレーニング パフォーマンスが 2 倍、1 ドルあたりの推論パフォーマンスが 2.5 倍になったと主張しています。

クラウドの巨人であるこの企業は、TPUv4 エンジンを使用して、独自の検索エンジンと広告配信プラットフォームの推論を行っています。

Google は、1 つの TPU チップから 1 つのスライス内の 250 以上に至るまで、8 つの異なる仮想マシン構成を提供する予定です。

もちろん、ハードウェアだけがすべてではありません。 彼らは、マルチスライスと呼ばれる機能を使用して、Cloud TPU v5e で大規模な AI ワークロードを処理するためのスケーラビリティの向上に重点を置いています。 現在プレビュー段階にあるこの機能は、必要に応じてユーザーが単一の TPU ポッドの範囲を超えてモデルをスケールし、数万の TPU チップを包含できるようにするために開発されました。 以前は、トレーニング ジョブは TPU チップの 1 つのスライスに限定されていました。

また、LLM などの要求の厳しい AI ワークロードを目的とした Google の A3 仮想マシン インスタンスは、8 つの Nvidia H100 GPU、デュアル第 4 世代 Intel Xeon スケーラブル プロセッサ、2 TB のメモリを備えています。 これらのインスタンスは5月のGoogle IOで初めて発表されたが、来月から利用可能になる予定だという。

オフロード ネットワーク アダプターと Nvidia Connective Communications Library (NCCL) によるネットワーク帯域幅の向上により、Google は、A3 仮想マシンがより洗練された AI モデルの構築を求めるユーザーに後押しを提供すると期待しています。

Google Next は、コンテナ化されたワークロード向けの同社のマネージド Google Kubernetes Engine (GKE) サービスのプレミアム エディションとして説明される GKE Enterprise に関する詳細も明らかにしました。

Googleによると、9月上旬からプレビューで利用可能になるGKE Enterpriseエディションには、顧客が同様のワークロードを「フリート」としてグループ化し、フリート全体にカスタム構成とポリシーのガードレールを適用できる新しいマルチクラスタ機能が搭載されているという。

このエディションには、ワークロードの脆弱性に関する洞察、ガバナンスおよびポリシー制御などのマネージド セキュリティ機能に加え、マネージド サービス メッシュが付属しています。 Google の Anthos プラットフォームから得られた機能を備えた GKE Enterprise エディションは、ハイブリッド クラウドとマルチクラウドのシナリオにまたがることができ、ユーザーは GKE だけでなく他のパブリック クラウドやオンプレミスでもコンテナ ワークロードを実行できると同社は主張しています。

さらに、GKE 自体も現在、要求の厳しい AI ワークロードに対応するために、Cloud TPU v5e と H100 GPU を備えた A3 仮想マシン インスタンスの両方をサポートしていると Google は述べています。

また、AI テーマを継続して、Google は Google Distributed Cloud (GDC) サービスに追加機能を追加し、クラウド プラットフォームへのオンプレミス拡張をサポートする更新されたハードウェアも提供します。

3 つの新しい AI およびデータ オファリングは、Vertex AI 統合、AlloyDB Omni、Dataproc Spark です。 Vertex の統合により、Vertex Prediction と Vertex Pipelines が GDC Hosted に導入されますが、これらは 2024 年第 2 四半期からプレビューでのみ利用可能になります。

AlloyDB Omni は新しいマネージド データベース エンジンで、トランザクション ワークロードに対して PostgreSQL の 2 倍の速度を提供すると主張されており、現在プレビューで利用可能です。

Dataproc Spark は、Apache Spark で分析ワークロードを実行するためのマネージド サービスで、ユーザーが Spark を自分でデプロイするよりも低いコストを提供すると主張されています。 第 4 四半期からプレビュー版が提供される予定です。