【Launch HN】AI利用料を劇的に削減！モデルを自動切り替えするAPIゲートウェイ「Tokenless」が登場

Hacker Newsの皆さん、こんにちは！Tokenless（https://usetokenless.com/ ）のRohitです。共同創業者のAndrewとKevと共に、AIエージェントのトラフィックをターンバイターンで動的に最適なモデルへルーティングし、AI利用コストを大幅に削減するAPIゲートウェイを開発しました。現在、AIトークンコストは多くの企業にとって悩みの種です。UberやSalesforceのような大企業ですら、AI予算が当初の予想よりも早く枯渇してしまう事態に頭を抱えています。最高性能のフロンティアモデルは開発には不可欠ですが、非常に高価です。一方でオープンソースモデルは安価で急速に進化していますが、まだフロンティアモデルとの間には差があります。そこでTokenlessの出番です。この両方の利点を組み合わせ、難しいタスクのみを高性能モデルに任せることで、賢くコストを抑えることが可能になりました。Tokenlessを始める前、私はプリンストン大学で博士号の研究をしていました。コーディングや他のエージェントを使っている際、限られた研究費を最大限に活用するために、どのモデルを使うべきか常に頭を悩ませていました。そんな中、LLMの研究過程でふと思いついた手法が、驚くほど短期間でSOTA（最高精度）に到達したのです。これほどシンプルな手法でルーティングがうまくいくことに私自身も驚きました。現在、我々のルーターはClaude Fable 5と同等のパフォーマンスを半額で実現しています。技術的な詳細はぜひブログ（https://usetokenless.com/blog/building-tokenless/ ）をご覧ください。主な特徴は以下の通りです。・複数のモデルに同時並行でクエリを投げ、その進行状況に基づいて決定を下す手法を採用（私たちが知る限りこのアプローチは初です。もし他で同様の事例があれば教えてください！）・ルーティングアルゴリズムがキャッシュの状況（ホット/コールド）を認識するため、モデルを切り替えてもキャッシュが無駄になりません。今後の予定として、Kimi K3やその他のGPT関連モデルへの対応を進めていきます。現在、usetokenless.comから登録してエージェントに組み込むと、20ドルの無料クレジットをプレゼント中です。使い方のデモはこちら（https://youtu.be/sjZWriclcls ）から確認できます。Tokenlessはフロンティアレベルの知能を低コストで提供します。ぜひ試してみて、使用感やルーティングの精度についてフィードバックをいただけると嬉しいです！

要するに、これってキャッシュがコールドな時しかモデルの切り替えが行われないってことだよね。そうじゃないと切り替えの経済的合理性が成り立たないから。でも、エージェント的なタスクの多くは、ホットなキャッシュの恩恵を受けるようなツール呼び出しが連続する長いやり取りだ。ホットキャッシュなら入力コストが90％削減できるのに。この仕組みだと、AIがユーザーに回答を返し、ユーザーが少なくとも5分（またはキャッシュの保持期間）待機してから返信する場合にしかコスト削減効果が見込めないんじゃない？でも今のエージェント的なワークロードだと、ユーザーからAIへの呼び出しってむしろレアケースだし。大抵はユーザーを介さずにツール→結果→ツールという流れになるでしょ。トークンの消費が最も激しいのはこういう長時間の推論チェーンなんだけど、KVキャッシュのせいでそこにはルーティングが効かない。そのあたりどう対処してるの？

私たちの手法は複数のモデルに同時にクエリを投げ、その進捗状況を見て判断を下すというもの（この技術は私の知る限り斬新なはず。他に似たようなことをしているところを知っていたら教えて）。それってDigitalOceanのModel synthesis (https://www.digitalocean.com/blog/model-synthesis) とか AilinOne (https://ailin.guide/) に似てる気がするけどどうなの？

賢いアプローチだし、間違いなく興味深いね。もちろん全ては品質にかかっているわけだけど、そこはまだ納得できていないかな。τ³-Bankingだけは精度が高くて安いって結果が出ているね。ブログの結果を正しく読み解くと、deepsweやterminalbenchでは、最先端モデルより性能は低いけど安いし、小型モデル単体よりは性能が良いけど高い、という立ち位置みたいだ。これってランダムに切り替えるルーターでも同じような結果になりそうなんだけど。そういえばランダムルーティングの件、比較対象として面白い実験になりそう。もし全てのクエリを極小の7Bモデルの分類器に送ったらどうなるかな？なぜあなた方のアプローチがSOTA（現状最高性能）だと言えるの？

Tokenlessはリクエストを複数のモデルにファンアウトして、それぞれの思考を監視する

モデルが「軌道に乗った」と判断できる頃には、既に入力トークンを受け取ってしまっているはずだよ。多くの場合、入力トークンはクエリ全体のコストの大半を占めるから、この方法だとむしろコストが増加してしまうのでは？モデルに比較的少量の入力を与えた段階で、膨大なデータを読み始める前に「軌道に乗っているか」を判断できるようなプロンプトであれば、コスト削減になるかもしれないけど。

これって、新しいモデルがリリースされるたびにルーティングのルールを再学習させなきゃいけないってこと？価格対トークン（というか、1トークンあたりにこなせる仕事量）は、新しいモデルが出たからといって必ずしも比例して向上するわけじゃないし、ルーティングロジックを常に変更し続けなきゃいけないんじゃないかと想像するんだけど。

ルーターで選択されるモデルは最初のユーザーターンのみ適用されるの？それともマルチターンのルーティングが行われる（あるいは今後追加予定がある）の？

面白いアプローチだね。複数のモデルの進捗を監視するというアイデアは賢いよ。これまで見たルーティングは、静的なルールか、最初に一度だけ判断する安価な分類器を使うものばかりだったから。ターンの中盤で並列にクエリを投げて判断するっていうのは新鮮だ。一つ気になったのは、難易度の高いターンで複数のモデルを起動する際のレイテンシのペナルティをどう処理しているか。ユーザーが体感するレイテンシは、Claudeに直接投げるのと比べて競争力がある？それともルーターの判断中に目立つような停止が発生する？あと、ルーティングの判断結果（少なくともどのターンでどのモデルが選ばれたか）を公開する予定はある？デバッグのために。それがあればフィードバックループを回すのに役立ちそうだけど。

めちゃくちゃ興味深いアプローチだね。おそらく新しいものだと思う。というのも、私も似たようなもの（http://pellmell.ai のコード版を構築する過程で）に取り組んでいたからだ。ただ懐疑的でもあるよ。どのモデルが正しい軌道に乗っているかを選ぶには「知能」が必要になるはず。でも、本物の知能を使えばシステムはひどく低速になり、コストもかさむことになる。何らかの分類器を使っているんだろうけど、実際は確信度を測っているだけじゃないかな。おそらく、不確実性は高いが正解が一つしかない問題には最高のやり方だと思う。でも、良さそうに見えて実はダメな解が無数に存在するようなケースではかなり苦戦するはず。ベンチマークを一つしか見せていないけど、この種のルーターに都合の良いものを選んでいないか気になる。DeepSWEで試したことはある？

これとOpenRouterは何が違うの？自分もエージェントのハーネス用に似たようなものを作ったよ。モデルの予測値と指数移動平均に基づいたものなんだけどね。https://github.com/rush86999/atom/blob/main/docs/architecture/LEARNING_LLM_ROUTER.md