メモリ内で直接計算！Samsungが仕掛ける「PIM」技術で爆速AI推論へ

Samsungが提唱する「Processing-in-Memory（PIM）」は、メモリチップそのものに演算機能を統合する革新的なアーキテクチャです。従来のフォン・ノイマン型ボトルネックを解消し、AIやビッグデータ解析におけるデータ転送のオーバーヘッドを劇的に削減します。メモリとプロセッサ間を行き来する膨大なデータに悩むエンジニアにとって、次世代のパフォーマンス向上を支えるキーテクノロジーとなるでしょう。

要するに、使用するメモリ領域のキャッシュを破棄してるってこと？実際にキャッシュミスがどれくらい発生するのか気になるな（記事でも触れられてるけど、Samsungからは具体的な解決策や影響についての言及がないし）。

RAMバンクで演算を行うというアプローチ、1980年代のISAベースの拡張RAMを思い出すから面白いよね。システム全体を乗っ取るCPUを搭載したカードがあったり、あるいは「カード上のコンピュータ」として機能するものがあったりさ。技術って本当に循環するんだなと実感するよ。当時のISAバスの遅さを克服できれば強力なアクセラレーターになっていたはずだし、今の状況に近いものを感じるね。

メモリ内処理（Processing in Memory）が未来なのは明らかだけど、今回の実装はどうかな。行列演算って、入力と出力の行列の各要素を同時に乗算器へ持ってくる必要があるんだよね（つまりN^2）。それには膨大なデータ移動が必要になる。結局、エネルギーやシリコン面積の観点から見ると、肝心なのはその「移動」であって、乗算や加算なんておまけみたいなものだよ。行列の全要素をもう一方の全要素と突き合わせるために、チップ内をぐるぐる回すリングシフトレジスタが必要になるはずだし。

つまり、CPUにキャッシュを増やすんじゃなくて、キャッシュの中にCPUを入れちゃったってことか。

2020年か2021年のHot Chipsで似たようなコンセプトを見たよ。面白いアイデアなのは確かだけど、毎年こういうエキゾチックなアクセラレーターの設計案なんて展示会で20個くらい発表されてるし、結局どれもモノになってないってことは覚えておかないとね。

LLMが注目されてからメモリ内演算の話が増えてるよね。https://arxiv.org/abs/2602.01827 みたいに、メモリの中にRISC-Vコアを埋め込もうとする研究もいくつかあったのを覚えてるよ。

メモリに演算機能を載せる代償は、依存関係のあるデータが常にどこにあるかを完璧に把握しなきゃいけないってことだよね。ほとんどの問題はそんな構造にうまく当てはまらない。AI、ゲーミング、暗号通貨くらいがわかりやすい例外かな。こういう特殊なハードウェア向けにアプリを開発するのはめちゃくちゃ制約が多いよ。だったら何らかの専用ASICを作ったほうがマシって話になるし、実際その3分野は独自の進化を遂げたでしょ。フォン・ノイマン・ボトルネックって、実はある種の機能だと思うんだ。距離を超えて情報をやり取りするコストが高いからといって、それがユニバーサルに欠陥だとは言い切れない。ジュールを消費している分、何かを得ているわけだからね。まあ、ネットワークインターフェースや銅線を無駄に光らせるようなエネルギーの使い方（SQLiteで済むのにやらないとか）は無駄だと思うけど、実用的なソリューションのためにそういうコストが不可欠な場面もあると思う。

1980年頃、英ブリストル大のコンピュータサイエンス課程でVLSI設計を学んでた時、Conway & Meadの教科書に「処理とメモリの融合」という概念がすでに出てたのを思い出したよ。結局、演算を行う場所にデータを置かなきゃいけないのは当然だよね。特に、性能低下を受け入れたとしてもデータを移動させるという選択肢がない非フォン・ノイマン型アーキテクチャではなおさらだ。AIが最終的にメモリ/状態と演算を統合した低消費電力のデータフロー型カスタムチップになるのは自明に見えるけど、誰にもわからないね。

それならいっそ徹底的にコンピュータアーキテクチャ全体を変えちゃうのが正解かもね。この変化に反対する意見の多くは、結局のところ今のコンピュータやコードがその仕組みと相性が悪いってところに帰結してるから。

まだあのゲーム続いてるの？06年に作ったキャラが残ってるんだけど！