マイクロンのHBM3E：高帯域幅メモリでAIの未来に活力を与える

マイクロンは、AIの拡大を加速するメモリとストレージの製品ラインナップについて、心躍るような発表をしてニュースとなってきました。マイクロンの8層積層と12層積層のHBM3Eソリューションは、業界最高の性能を発揮し、消費電力は競合他社よりも30%低くなっています¹。マイクロンの8層積層24GB HBM3EはNVIDIA H200 TensorコアGPUに搭載されて出荷されます。Six Five Mediaの最新エピソードでは、司会者のダニエル・ニューマン（Futurum GroupのCEO）とパトリック・ムーアヘッド（Moor Insights & StrategyのCEO）が、マイクロンの製品管理担当シニアディレクター、ギリッシュ・チェリュセリーと対談しました。この対談では、高帯域幅メモリ（HBM）の魅力あふれる世界を探り、今日のテクノロジーの状況における用途について考察しています。この記事ではこの対談を要約し、HBMの細部からマイクロンが市場の需要を満たす方法、メモリエコシステムで現在展開していることまで、あらゆることを総括します。ギリッシュは、AIメモリとストレージ技術の市場トレンドに関する最新情報を求めている視聴者のために、貴重な意見を共有してくれました。

高帯域幅メモリとは？ その用途は？

業界標準のパッケージ内メモリであるHBMは、今までの常識を変えるゲームチェンジャー的存在です。最小フットプリントの特定容量で帯域幅は最高であり、エネルギー効率も高くなっています。ギリッシュがSix Fiveポッドキャストで指摘したように、AIアプリケーションでは複雑な大規模言語モデル（LLM）が展開されるようになってきており、GPU付帯のメモリ容量と帯域幅に制限があるため、このようなモデルをトレーニングすることには困難を伴います。LLMの規模は指数関数的に拡大しており、メモリ容量拡大のペースをはるかに超えています。このような傾向があるために明確になってきたのが、メモリ容量を拡大する必要性です。

GPT-3について検討してみましょう。そのパラメータは約1750億です。メモリは約800ギガバイトということになり、パフォーマンスの低下を防ぐには、より高い帯域幅が必要となります。最新のGPT-4モデルのパラメータは大幅に多くなっています（推定で数兆）。従来のようにメモリコンポーネントを追加する方法では、システムが法外に高価になってしまいます。

HBMでは効率的なソリューションが提供されます。Micron HBM3Eでは、11mm x 11mmパッケージで業界最高の1β（1ベータ）テクノロジーベース24GBダイの8スタックまたは12スタックとなっており、より小さいフットプリントで24GBまたは36GBという大容量が実現しています。マイクロンの最先端設計とプロセスイノベーションにより、HBM3Eのメモリ帯域幅は1.2 TB/sを超えて、ピン速度は9.2 GB/sを超えています。HBM3Eには独立した高頻度のデータチャンネルが16個あり、ギリッシュに言わせると「高速道路の車線のように」データが前後に高速で移動するため、必要なパフォーマンスが実現します。
 

Micron HBM3Eの大容量と高帯域幅により、LLMトレーニングの時間は短縮され、顧客の運用コストは大幅に削減されます。大容量のHBM3Eによって大規模言語モデルがサポートされ、CPUオフロードおよびGPU間通信遅延が回避されます。

HBM3Eのエネルギー効率は高くなっています。ホストとメモリの間のデータパスが短いためです。DRAMはシリコン貫通電極（TSV）でホストと通信しますが、これをギリッシュは「ハンバーガーを貫通した楊枝のようなもの」と説明しています。電力とデータを下部ダイから取り出して、上部メモリ層に移動します。マイクロンのHBM3Eの消費電力が競合製品より30%少ないのは、1βプロセスノードにおける高度なCMOS技術革新のためであり、最大で2倍のTSVにパッケージ相互接続の25%縮小が組み合わさった高度なパッケージ革新のためでもあります。メモリインスタンスあたり8Gbpsで30%の消費電力削減により、顧客は500,000 GPUインストールベースで5年間に運用コストを1億2300万ドル以上削減できます。^1,2

ダニエル・ニューマンが言うように、マイクロンのHBM3Eは、最大、最速、超クールなメモリで、データセンターのサステナビリティニーズに好影響を与えます。
 

生成AIと高性能コンピューティングの要求にMicron HBM3Eで応える方法
 

マイクロンでは、問題を解決して人類の基本的な課題に対処し、あらゆる人の生活を豊かにできると信じています。

今日のスーパーコンピューターシミュレーションにより、巨大メモリと帯域幅のニーズは増大しています。ギリッシュが説明するように、製薬会社は、パンデミックの最中にコロナウィルスの新薬と化合物を急いで特定しようと尽力しました。HBMは高性能コンピューティングシステムの一部であり、この時代の重要課題を解決するための巨大なコンピューティングニーズに対処しています。HBMにより、必要なパフォーマンスと容量が小型フォームファクタで実現し、しかも消費電力が抑えられて、メモリテクノロジーに対する認識は壮大なコンピューティングシステムを可能にするものに根本的に変化しました。

今日のデータセンター業界は、AIの時代においてコンピューティングが拡大し続けた結果、電力と容量という課題に直面しています。AIと高性能コンピューティング（HPC）のワークロードにより、メモリの利用と容量は拡大しています。データセンターの冷却に要求される電力も課題です。HBM搭載システムの場合、システムの冷却はDRAMスタックの上部で行われ、ベースダイとDRAMレイヤーの電力による熱生成はスタックの下部で起こります。マイクロンでは、設計の早い段階で電力と放熱について考慮する必要があったのです。マイクロンの高度なパッケージ革新によって構造的な解決が可能になり、熱インピーダンスは改善されて、キューブのサーマル管理は改善されました。消費電力が大幅に低いことを考え合わせると、全体的な熱量は競合製品よりもかなり低くなります。Micron HBM3Eでは電力効率と熱効率が改善されるため、データセンターの重要課題に対処できます。
 

AIメモリソリューションの新トレンドとは？
 

生成AIはクラウドからエッジまでの用途に広がり、異種コンピューティング環境で重要システムのアーキテクチャーの革新を促進しています。AIによってこのトレンドは加速し、インダストリー4.0、自動運転車、AI PC、AI対応スマートフォンなど、エッジでの用途が拡大しています。ギリッシュが言うように、このような長期的トレンドにより、テクノロジー全体でメモリサブシステムの重大な革新が促進されて、容量、帯域幅、信頼性が拡大し、消費電力が削減されています。

マイクロンの1βベースLPDDR5Xポートフォリオでは、エッジでのAI推論で1ワットあたりのパフォーマンスがクラス最高になり、このようなシステムが実現します。マイクロンはLPDDR5Xベースの革新的なフォームファクタLPCAMM2を他社に先がけて市場投入し、PCユーザーのユーザーエクスペリエンスを転換してAI PC革命を可能にしています。

データセンターのアーキテクチャーも進化しています。マイクロンのモノリシックダイベース大容量RDIMMにより、世界中のデータセンターサーバーのAI、メモリ内データベース、汎用コンピューティングのワークロードにおいて進歩が促進されています。マイクロンが他社に先がけて市場投入した大容量128GB RDIMMでは、処理をGPUからCPUにオフロードするAIワークロードなど、より多くのメモリ容量を必要とするアプリケーションを効率的に処理するためのパフォーマンス、容量、低レイテンシーが提供されます。

マイクロンでは、データセンターにおいてAI加速と推論の用途のためにLPDDRメモリ（低電力DRAM）の採用が増加していることも確認しています。1ワットあたりのパフォーマンスで有利であるためです。マイクロンのグラフィックスメモリ、GDDR6Xも、1秒あたり24ギガビットという素晴らしいピン速度で動作し、推論の用途に向けてデータセンターに採用されています。

マイクロンが開拓し、データセンターの用途に向けてメモリと帯域幅を拡大している、その他の新しいメモリソリューションは、CXL™対応メモリです。マイクロンのCXLメモリモジュールCZ120では、AI、メモリ内データベース、HPC、汎用コンピューティングのワークロードに向けてメモリの拡大が実現します。

AIによって人類の新しい時代が幕を開け、私たちの生活のあらゆる側面が影響を受けています。社会でAIの潜在能力が利用されるようになると、デジタル経済の業界全体でイノベーションが継続的に速まるでしょう。データはデジタル経済の中心で、メモリとストレージソリューションに存在します。マイクロンは、その技術的能力、革新的なメモリとストレージソリューションのリーダー的ポートフォリオと強固なロードマップ、情報の利用方法を転換してあらゆる人の生活を豊かにするための取り組みにより、有利な立場でこのAI革命を加速しています。