自宅で120Bモデルをぶん回せ！オフライン専用AIマシン『Tinybox』が凄すぎる

Tinyboxは、インターネット接続なしで1200億（120B）もの巨大なパラメータを持つAIモデルをローカル実行できる、モンスター級のオフライン専用AIデバイスです。プライバシーを重視する開発者や、クラウド料金を気にせずLLMを極めたいエンジニアにとって、まさに夢のようなハードウェアと言えるでしょう。

Exaboxは興味深いね。顧客が誰なのか気になる。Vera Rubinの発表を見た後だと、今あえてハイパースケール事業でNVIDIAと競合しようなんて思えないし。価格重視の層を狙ってるのかな？あるいは資金繰りが厳しいMLスタートアップ向けか。価格を調べたら、同じGPUメモリ量でVera Rubinの方が半額っぽいんだよね。インターコネクトもNVには及ばないだろうし。誰が買うのかさっぱり分からん。Vera Rubinが届くのに3年かかるとかなら話は別だけど、あそこはちゃんと出荷してるからなあ。

このサイト、全然AI生成っぽくないのが皮肉というか、デザインも文章のトーンもすごく人間味があっていいよね。それはさておき、これは素晴らしいアイデアだし、成功してほしい。AIの未来は、巨大企業のモデルに頼るんじゃなくて、個人がローカルで学習させたモデルを持つことにあると思うんだ。ただ一つ、240V回路に簡単に繋げられるようになると嬉しいかな。120Vの回路を2つ探して差し込むのは、多くの人にとって面倒だろうし。

Red v2で120Bパラメーターのモデルを動かすのは絶対無理。俺もA100を2枚刺した自作のAIホームラボ（NVLinkでVRAM計80GB）を作ったばかりだけど、それ以外のスペックは似たようなもん。120Bなんてかなり重い量子化をかけないと入らないし、そうすると俺の経験上、モデルが支離滅裂になる。KVキャッシュの余裕もないから、コンテキスト4kくらいでメモリ不足（OOM）になるはず。今は70Bを動かしてるけど、それでもかなりギリギリだ。しかも俺の環境はRed v2より16GBもVRAMが多い。あと、なんでこれが12Uもあんの？俺のは4Uだよ。Green v2の方はGPUが良いけど、6万5千ドルも出すならCPUとRAMはもっといいやつを積んでほしい。Threadripper 7000ならそんなに高くつかないでしょ。これがあること自体は嬉しいけど、正直言ってかなり困惑してる。

特定のオープンソースモデルを動かしたときの、実測のtokens/secの値が知りたいな。今オフライン用のハードウェアを探してるんだけど、1万2千ドルも出す前にどの程度のパフォーマンスが出るか予測するのはめちゃくちゃ難しい。例えばUbuntu上でOllamaを使ってGPT-OSS-120Bを走らせたら、最低でも40 tok/sは出るとか、そういう基準が最初から分かってれば最高なんだけど。

この会社、ハードウェアの大家（ランドロード）として振る舞うことを考えたほうがいいかも。購入やリースだけじゃなくて、コロケーション（設置場所の提供）もやるんだ。AI工場に転換しようとしてる仮想通貨マイナーと組めば、場所と電力は確保できるし。ただ、マイニングセンターを流用するなら追加の冷却が必要になるのかな。CoreWeaveもそうやって転換してコロケーションもやってるし、この流れは本物だよ。あと、Tinygradはリサイクルについても考えてるのかな？誰か考えてる人いる？誰が何をどこに持ってるかのデータベースがあれば、リサイクル技術が確立された時に、特定のゴミ（資源）をどこから調達すればいいか分かるし、買い取ることもできる。そういうデータベース自体が業界を活性化させると思うんだよね。

Tinyboxはクールだけど、市場が求めているのは「Kimi 2.5を50Tok/sで動かせます」みたいに、特定のモデルでどの程度の速度が出るかっていう、すぐ使える状態（ターンキー）での明確な約束なんじゃないかな。

これって仮想通貨マイニングの現代版か何かなの？昔、マイニング専用のハードウェアを売ってた時期があったけど、今はそれがAIになったってことかな？

tinygradがアルファ版を抜ける条件が「PyTorchより2倍速いこと」っていう件について：具体的にどのワークロードでPyTorchがハードウェア性能の半分も出せていないのか、誰か詳しく教えてくれない？大抵の論文は標準的なコンポーネントを使ってるし、PyTorchなら一般的なGPUから引き出せる性能の50%以上は出せてるはず。もしカスタムカーネルを書かないと性能が出ないようなマニアックな処理を指してるなら、それはまた別の話だけど。

なんでGPU 6枚構成をやめちゃったのか謎だな。4枚なら9070もRTX 6000も2スロット設計があるから、ちょっと高めのマザーボードを使えば自作できるんだよね。6枚構成ならライザーカードとかPCIeリタイマー、二重化電源にカスタムケースが必要になるから、製品としての価値がもっと高かったと思うんだけど。

「おそらく（likely）最高のコスパ（パフォーマンス/$）」か……。「おそらく」って言われるとあんまり信用できないな。絶対にデータは持ってるはずなんだから、もし本当にそうなら比較データを公開するでしょ。