【オープンソース版OpenRouter】モデルの利用データを学習に活かして賢くなるAIゲートウェイを作ってみた

Hacker Newsの皆さん、こんにちは！私たちはオープンソースのモデルゲートウェイを開発しました。自前でホストしているモデルから、最先端モデル、オープンソースモデルまで、あらゆるモデルを一元管理できる場所です。Rustでネイティブ実装されており、高い並行処理性能を実現。ストリーミング形式やツール呼び出し、パラメータ、レート制限、エラー処理など、モデルやプロバイダーごとに異なる複雑な設定もすべて吸収します。BYOK（Bring Your Own Key）利用時は1ms未満、こちらでAPIキーを用意する場合でも2ms未満という爆速ゲートウェイです。主要な推論プロバイダーを網羅し、1,000以上のモデルをCodexエージェントが毎日自動更新しています。既存の類似プロジェクトと異なり、完全にオープンソースでマークアップ（上乗せ料金）は一切なし。ローカルモデルとマーケットプレイスのモデルを自在に組み合わせられるだけでなく、希望すれば（オプトイン）、トラフィックを使ってあなた専用のモデルを学習させることも可能です。「単純なルーティングだけで10%ものトークン手数料を取るのはおかしい」というのが私たちの考えです。具体的な仕組みとしては、標準化されたOTelトレースをもとに実際のタスクを抽出し、テキストワールドモデルを使って各モデルのシミュレーションを実行。LLMジャッジとプロンプトの埋め込みを用いた最近傍分類器を組み合わせることで、リクエストごとに最適なモデルを自動選定します。これにより、単一のモデルを使い続けるよりも、コストと品質のパレート最適曲線を大幅に改善できます。また、このシミュレーションを活用して、キャッシュヒット率の最適化提案やおすすめモデルの提示、モデル自体の学習といった機能も備えています。オープンソースなので自社インフラへの導入も自由ですし、手数料ゼロのホスティング版を利用することも可能です。高可用性を実現するための設計思想についても、ぜひウェブサイトでチェックしてみてください。

キャッシュの仕組みについて詳しく教えてくれない？単一のモデルに絞る大きなメリットは、キャッシュされた入力トークンでコストを抑えられることだと思うんだ。モデルを頻繁に切り替えるとパフォーマンスは上がるかもしれないけど、コストが手に負えないくらい膨れ上がりそうじゃない？

ついにこういうことをしてくれるオープンソースツールが出てきたか！

すごく面白いね、リリースおめでとう。最初はPythonで書いて、後からRustで書き直したの？

まだ試せてないんだけど、これはLiteLLMに似てるのかな？もしそうなら、何が違うのか教えてほしい。