爆速！CerebrasでQwen 2.5 72Bが秒間1500トークンの異次元パフォーマンスを実現

Cerebrasで「Qwen 2.5 72B」が利用可能になりました。特筆すべきはその圧倒的な速度で、なんと秒間1500トークンという爆速出力を叩き出しています。推論速度に課題を感じていたエンジニアにとって、このスループットは革命的と言えるでしょう。

彼らのコーディングプランを数ヶ月使ってたけど、モデルの進化についていくのが本当に大変。出力がめちゃくちゃ速いんだよね。Qwen 3.8 27Bは、彼らが提供してきたモデルの中でも最強クラスだと思う。

追記：これ、APIトークンの課金でしか使えないみたいだね。プロンプトキャッシングがもう実装されてるか誰か知らない？エージェント的なコーディング作業だと、キャッシングがないとすぐ高額になっちゃうんだよね。

カスタマーサポートがDiscord以外にもあればいいのに。Discordは私のことをBotだと思い込んでるのか、メールアドレスも電話番号も受け付けてくれないんだよ。

OpenRouterにも対応してるみたいだけど、Qwen 3.8はまだないね。早く追加されるといいんだけど。

あと気づいてない人向けに言うと、Qwenで許可されてるコンテキストサイズは128kまでなんだよね。専門的なサブエージェントとしては面白いけど、長時間のタスクにはあんまり向いてないかも。

このモデルの推論能力をOpenRouter経由でも使えるようにしてくれたら最高なんだけどな。今のOpenRouterでの最速プロバイダーは80tpsくらいだし。https://openrouter.ai/qwen/qwen3.8-27b#providers

他のモデルはOpenRouterで提供してるみたいだから、Qwen3.8も近いうちに来るかもね：https://openrouter.ai/provider/cerebras

Kagi経由で彼らのgemma 4 31bモデルを使ってみたけど、回答が瞬時に返ってくるのはマジでヤバい。感覚やUXが全然違うよ。モデル自体は小さくても、こういう使い道は間違いなくあるね。Qwen 27Bモデルも追加されるのか気になってる、試してみたら面白そう。

つい数日前にninfer (https://github.com/Neroued/ninfer) について知ったんだけど、RTX 5090だと200 tok/s、同時リクエストなら400 tok/s以上も出せるよ。このクラスのローカルモデルとしては十分すぎる速さだね。

既存コードベースの中規模なコーディング・デバッグタスクで試してみた感想：

• 入力速度は他のモデルと大差ないかも、読み込みにかなり時間を使ってる（約5Mトークン読み込んだ）
• 出力は素晴らしい、期待通りの1500t/秒という爆速
• ツール呼び出し（ブラウザ操作などの複雑なもの）でDS4なんかより失敗しやすいから、再試行で時間を無駄にしがち
• シェルコマンド実行が依然としてボトルネックになる

結局のところ、待ち時間はトータルで見ると大差ないし、結局出力された内容を読む必要があるから、コーディングに関してはDS4などで得られる100-200t/秒くらいがちょうどいいのかもね。これ以上速くてもボトルネックはそこじゃないのかも。

それに設定（OMP）のせいかキャッシュがうまく動いてないのか、かなり高くついたよ...

パブリックエンドポイントのTPM（1分あたりのトークン数）制限が150kだと、多くのコーディングタスクでは使い物にならないね。過去にCerebrasを試した時も、いつもレート制限が問題だった。専用プランじゃなくて、もっと柔軟なレートプールが使えるようになればいいのに。

試そうとしたらアカウントが謎の状態になってて、請求情報を追加できなくなった。

Billing access restricted
Self-serve billing is not available on Enterprise accounts. Please contact your team for further questions.

チームなんてないし（レート制限の話をしたらSlackチャンネルから抜けていったから）。困ったことに、リクエストを送ってもエラーの内容がこれだよ：

{"message":"Model does not exist or you do not have access to it.","type":"not_found_error","param":"model","code":"model_not_found"}

原因は請求の方なのにさ。

Cerebrasを好きでいたいんだけど、いちユーザーとしては全く大切にされてない感じがするんだよね。

プログラミングに使えるか気になってたけど、速すぎて逆効果だね。1分あたり450,000トークンの制限があって、90秒で制限に達して1.1ドル溶かしたよ。キャッシュされたトークンも制限に含まれるのが原因みたい。

比較としてDeepSeek-V4-Flashで同じタスクを回したら、172秒かかってコストは0.024ドル、最終コンテキストは55217トークン。Qwen3.8-27Bは64178コンテキストでも全然終わってなかった。

お金を燃やすには効率的だけど、プログラミングにはおすすめしないよ。

いい面としては、5ドルのサインアップボーナスがあったから自分のお金じゃないってことかな。

簡単なテストをしてみた。pi + cerebrasで最近のコミットをレビューさせて、いくつかフォローアップの質問をしてみたけど、なかなか良かったよ。

Cerebrasセッションのコストは1.60ドルで、合計5.1分かかった。429のレート制限エラーが何度か出たけど。p50速度は890 tok/s、TTFTは0.64sだった。

OpenRouterの平均を使うとコストは0.29ドル（Cerebrasにはキャッシュ割引がないから！）で、時間は約14.4分かかる計算。

つまりこの短いセッションだと、Cerebrasは5.6倍高いけど2.8倍速いということになる。言い換えれば、1.32ドル払って9分を買った感じ。個人的には悪くないトレードだけど、キャッシュの状況は本当に残念。セッションが長くなるほどCerebrasの割高感が強まるからね。唯一の「いい」ニュースは、短いコンテキストウィンドウのおかげで制限を受けているってことくらいかな。

（ちなみに以前Cerebrasのコーディングプランに入ってたけど、エンドユーザーへのサポートはかなり酷いよ。パブリックエンドポイントは、エンタープライズ顧客向けのデモ程度の扱いなんだろうね。）