AI自身が設計したオープンソースAIアクセラレータ「OpenTPU」が登場

AIによって開発されたオープンソースのAIアクセラレータ「OpenTPU」が公開されました。AIが自らの設計を最適化するという、次世代のハードウェア開発の幕開けを感じさせるプロジェクトです。

AIを使ってRISC-VのCPUコアを開発した後、同じ手法がopenTPUの開発にも使われたんだ。オープンソースのAI推論エンジンで、Qwen 3.5やGemma 4といった最近のモデルのほとんどを動かせるよ。TPUは最初は毎秒数トークンしか生成できなかったけど、再帰的な自己改善ループを経て、小さいモデルなら80+ tok/secまで到達したんだ。

経験豊富なユーザーがLLMをセンス良く導いてあげることで、得られるものはかなり多い気がする。

これ、300ドルくらいのFPGAボードで動いてるのかな？ハードウェアについて詳しい人いる？

ソフトウェア屋からの本当に初歩的な質問なんだけど、なんで各ラボはフロンティアモデルをさっさとチップに焼き込まないの？パフォーマンス向上とリクエストあたりのコストを考えれば、それだけの価値はありそうだけど。まあ、経済面や物理的な課題については全く理解できてないんだけどね。

「再帰的な自己改善は人類を滅ぼす！」

一方で：これが我々の再帰的自己改善の成果だ…

結果をまだじっくり掘り下げてないけど、推測ではSOTAモデルは12月頃からすでにモデルを動かせるアクセラレータを生成できていたんじゃないかな。

次に目指すべき明らかなステップは、SOTAモデル自体を動かせるだけのメモリ帯域幅を確保して、モデル自身にハードウェアを開発させることだろうね。

でも、もっと面白い問いがある。AIに巨大なFPGAを与えて、その再構成可能なファブリックを活かしたモデルアーキテクチャを設計させることは可能なんだろうか。

ColossusはColossus IIを構築してるってことか。

まあ、赤い光を放つ目で、解剖学的に正確な金属製の骸骨を作り始めない限りは大丈夫でしょ…

RTLを開いて浮動小数点演算の箇所を見たんだけど、どうやらLLMには正確な浮動小数点演算なんて必要ないってことを学んで、すぐにページを閉じたよ。

オープンソースのハードウェアAV1デコーダーを「バイブコーディング（ノリと勢いでコーディング）」してるよ：https://github.com/Jonahss/openav1