HN690189
OpenRouterって実際どうなの？導入前に知っておくべきポイントを徹底解説！
So you want to use OpenRouter?
player85・3日前
議論
11件OpenRouterの利用を検討していますか？複数のLLM APIを一括で管理・利用できる便利なプラットフォームですが、導入にあたってのメリットや注意点を整理しました。
これは私のOpenRouterでの、はるかに小規模な利用状況とも一致するな。とにかく信頼性が低すぎて、プロバイダーを固定せざるを得ないし、それでも記事の筆者が指摘しているように運任せなところがある。OpenRouterは「商品化されたプロバイダーを自由に切り替えられる」という売り文句だけど、実際は全くそんなことない。プロバイダーAをBやCに簡単に置き換えられるわけじゃないんだ（これも筆者の指摘通り）。「OpenRouterって中身スカスカじゃないか？自分が間違ってるのか？」なんて考えながら使っていると、頭がおかしくなりそうになるよ。OpenRouterの構想自体は大好きだし、Stripeとかが状況を改善してくれるかもしれないけど、唯一まともな使い方は、プロバイダーをガチガチに固定すること。それなら最初からプロバイダーと直接契約すればいいんじゃないかと思ってしまう。固定しないと、モデルの性能や速度の違いに振り回されて、酷い目に遭うのがオチだね。
同じモデルでもベンチマーク結果が大きく異なる
プロバイダー側が黙って量子化版を提供しているんだろうね。これは本当に残念だよ。だって特定のタスクなら、精度を多少犠牲にしてもコストを抑えたい場合だってあるから。でも残念ながら、自分で（あるいは借りた）ハードウェアで動かさない限り、量子化の度合いを明示的に選ぶことはできない。ところで、LLM Gatewayも同じような問題を抱えてるのかな？今試そうか検討中なんだけど、まだ手を出せていないんだ。
OpenRouterの最高なところは、レスポンスに「200 OK」がハードコードされてそうなところだね。以前はコンテンツが空の "" が返ってくることが頻繁にあって、自分のコードが間違ってるんじゃないかと3回くらい見直したよ。でも結局、AIプロバイダーのインフラ自体が「なんとなく」で運用されているのが実情で、それに抗おうとしても無駄だって気づいたんだ。
これはすごく有益な情報だ！ちょうどいいタイミングで助かる。新しくリリースしたランニングトラッカーでOpenRouterを使ってるんだ（ライブコーチングやランニング後の振り返り用）。これまでにモデルの性能をいろいろベンチマークしてきたけど、理由もわからず急にパフォーマンスが落ちるモデルがあることに気づいていたんだよ。今後はベンチマークの際にプロバイダー情報もしっかり含めるようにするよ！
OpenRouterの共同創設者兼COOです。フィードバックをありがとうございます。把握しているものもあれば、そうでないものもありました。修正できるものもあれば、推論そのものの性質上避けられないものもあります（実際、私たちは状況を劇的に改善しつつあります）。哲学として、OpenRouterでは相反する可能性のある二つのことを同時に実現しようとしています。1. 多くのプロバイダーの容量を、「とにかく動く」という体験として気にせず使えるようにすること。2. 多様な推論エンジンを用意し、価格・性能のトレードオフ、データポリシー、地域性、ハードウェアなどの選択肢を radical に提供すること。これらは本質的に両立が難しいのですが、同時に実現できるよう日々改善を重ねています。記事へのコメントですが：1. ベンチマーク：その通りです。ライブエンドポイントで継続的に計測し、中央値を監視して、標準偏差から外れるプロバイダーはデフォルトのルーティングから除外しています。2. それは改善します。申し訳ありません。3. プロバイダー導入時にはテストを行っていますが、本番環境での常時監視についてはさらに強化中で、根本的な解決を目指しています。4. 量子化フィルタについては、モデルウェイトと推論APIの間のスタックで品質劣化が起きているという見解には完全に同意です。5. 調査します。6. こちらも調査します。保険プログラムの拡充も検討します。7. 調査します。8. 修正します。9. IPレート制限は行っていません。不思議なので詳細を伺いたいです。10. 申し訳ありません。本番環境向けのQoS層を導入中で、解決を目指しています。
かなり致命的だね。研究目的でOpenRouterを使っているんだけど、全てを疑いたくなるよ。多くのプロバイダーが、こちらの記事で指摘されているような問題を抱えているんじゃないかと思っている。https://forum.level1techs.com/t/why-your-local-llm-feels-dum... （HNでの議論: https://news.ycombinator.com/item?id=49402232 ）
その通りだし、もっと深刻だよ。僕が単一プロバイダーへの切り替えを決めた最大の理由はトークンキャッシュだ。ちゃんとキャッシュできないプロバイダーをブロックし続ける作業に疲れたんだ。急にパフォーマンスが落ちてログを見ると、新しいプロバイダーがローテートされていて、キャッシュが効いていない（壊れている）ことがわかった。これが何度か続いて、コスト削減の意味が完全になくなったんだ（質の悪いプロバイダーに限ってこういうのが多い）。彼らはこういう単純なことすら監視していないの？ログを見ればパターンは一目瞭然なのに。キャッシュ率の統計を見れば、すぐにブロックできるはずなんだけど。
ああ、その通りだ。プロバイダーの中には詐欺みたいなのもいる。GLM-5.2で1秒間に200トークンという異常な速度が出るプロバイダーに出くわしたんだけど、中身はめちゃくちゃで、同じファイルを1ターンで20回も読み込んで、コンテキストを300k〜400kまで跳ね上げてプレフィル料金を請求してきやがった。すぐに拒否リストに入れたけど、その前に数ドル分持っていかれたよ。あと、小さなモデル（DeepSeek V4 Flashとか）なのに1秒間に1トークンしか出ないようなプロバイダーもストレスだ。リクエストをキャンセルしても、プレフィル分と生成済みの数トークンの料金は取られるし、キャンセルしなければ10分も待たされることになる。全体的な体験としてはいいサービスだし、新しいモデルを試すには最高だけど、まともな審査や品質基準を適用していないから、時々痛い目に遭うね。
同じモデルでもベンチマーク結果が大きく異なる
これには驚いた。プロバイダー間でこれほど差が出る理由について、誰か確かな答えを持っている人はいないかな？OpenRouterが実行しているベンチマークは、モデルの確率論的な性質を考慮していないんだろうか？プロバイダーが量子化やコンテキストウィンドウサイズについて嘘をついているとか？OpenRouterはモデルごとのバリエーションを考慮に入れていないのかな？レイテンシやコストの差なら理解できるけど、モデルのパラメータが全く同じなのに、生成されるトークンの回答そのものが変わるというのは納得がいかない。
元OpenRouterユーザーだけど、残念なことにOpenRouterはほとんど警告なしにトークンの有効期限を切るよ。ビジネス上の正当な理由はなく、単に「できるから」という理由でね。もし彼らが銀行でトークンがお金だとしたら、1年後には利回りがマイナス100%になるようなものだ。1年使わなかったらトークンは残っていないと思った方がいい。