独自の推論基盤をゼロから構築！GLMが挑んだインフラ最適化の舞台裏

GLMが自社独自の推論インフラをどのように構築したのか、その技術的な取り組みや設計思想について詳しく解説します。大規模言語モデルのパフォーマンスを最大限に引き出すための、独自スタックの選定から運用時の工夫まで、エンジニアが知っておくべきポイントをまとめました。

10万個以上の中国製AIアクセラレータを搭載したクラスター上で、ゼロから完全なプロダクショングレードの推論サービスを構築したよ。GLM-5.3-Flashのすべてのプロダクション推論はこのシステムで動いてる。

アメリカと中国のプロバイダーのアナウンスのトーンが似通ってきてるのが興味深いね。以前のGLMはRSIとかの将来予測よりずっと技術寄りだったし。あと、その10万個のアクセラレータが本当に全部現地生産なのかも気になる。もしリソグラフィからメモリ、設計までエンドツーエンドで全部自国製なら、相当な偉業だよ。

アメリカのチップ輸出規制は、結果的に中国のAIインフラにとって追い風になってるのかもね。自国製AIチップの開発を加速せざるを得ない状況だから。

「一連の積極的なメモリ最適化を実装した……」ってあたり、まるで産業規模の自動研究って感じだけど、ちゃんと何やってるか分かってる人たちが取り組んでる印象を受けるな。

次はコンシューマー向けGPUに取り組むべきだな。俺はIntel Arc B770を買うつもりないし。

このインフラが全てのトラフィックを捌ければいいんだけどね。z.ai経由でglmを使ってみたけど、カタツムリみたいに遅いよ。しかも使用制限がかなり厳しいから、一晩中稼働させようとしてもすぐ制限に引っかかっちゃうんだ。

アメリカではAIチップに巨額が投じられてるけど、なぜアメリカのAIラボは同じレベルのソフトウェア最適化ができないんだろう？これこそキャパシティ制限の解決策になり得るのに。

記事の前半部分は、Z.AIが「国家安全保障上の懸念」というパイに自分たちの取り分を確保しようとしてるように見える。「AIは今や強力すぎる」なんていうMythosやFable、GLM関連の記事は、実際に使ってみた時の経験と全く噛み合わないんだよね。政府の方針に影響を与えるためのポジショニングをしてるようにしか思えない。

同じハードウェアからこれだけのパフォーマンスを引き出せるのはかなりすごいね。LLMと推論プロバイダー、それにハードウェアスタックのあらゆる組み合わせで同じような最適化が進んでいくはず。来年中にはプロバイダー側の推論コストが一桁下がって、素晴らしい利益率が出るようになるんじゃないかな。