AIモデル選定の決定版！スペック・価格・性能を網羅したデータベース「Models.dev」が登場

Models.devは、AIモデルの仕様や料金体系、性能などを横断的に比較できるオープンソースのデータベースです。どのモデルを採用すべきか迷っているエンジニアにとって、最適な選択をサポートする強力なツールとなるでしょう。

最高のツールだね。最近の調整のおかげで、データが膨大でレコード数が多いのにめちゃくちゃ高速になってる。

すごく興味深いね、シェアしてくれてありがとう。ちょっと質問なんだけど、https://aihubmix.com/model/coding-glm-5.1-free (https://aihubmix.com/model/coding-glm-5.1-free) って「coding-glm-5.1-freeはcoding-glm-5.1のオープンかつ無料版です。安定したサービスパフォーマンスを維持するため、1分間に最大5リクエスト、1日500リクエストまで、1日100万トークンの制限があります」という条件で本当に無料なの？このaihubmixって、それ以外に何か落とし穴はないのかな？自分はエージェントが必要な時は普段opencode-zenの無料版を使ってるんだけど、これにも興味がある。このリポジトリはopencode（というかanomalyco）のものだから、opencode自体に統合される可能性もあるよね。あと、これらAIhubmixとかを使うことで、opencode-zenそのものを使うよりも何か具体的なメリットがあるんだろうか？見落としてたら教えて。

すごく便利なデータベースだね。ただ、ウェブサイトには並び替えだけじゃなくてフィルタリング機能もあったほうがいいと思う。

面白いアプローチだね。統一された価格表は助かるけど、各プロバイダーのレイテンシのベンチマークが見たいな。価格やトークン数以上に、それが隠れたコストになることが多いから。

面白いし、長期間更新され続ければかなり役に立ちそう。あと、価格は時間とともに下がっていくっていうのが一つの主張でもあるし、価格の変化をキャプチャする仕組みもあるといいかもね。

些細な提案だけど、詳細を見るために右にスクロールしなきゃいけないって気づくのに時間がかかったよ。たいていのユーザーは下にスクロールするか、ボタンをクリックして詳細を見ることに慣れてるからね。

全データに対してフィルタリング機能は絶対必要だね。「クローズド」なモデルを除外したり、LLMじゃないモデルも非表示にできるようにしてほしい。

利用可能なすべてのAIモデルの情報が載ったデータベースは存在しません。私たちはこれを解決するためにModels.devをコミュニティ主導のプロジェクトとして立ち上げました。

今やろうとしていることと同じことをやっているプロジェクトは、文字通り山ほどあるよ。

ここに例のXKCDの標準化の引用を置いておくね：

https://www.helicone.ai/llm-cost (https://www.helicone.ai/llm-cost)

https://pricepertoken.com/ (https://pricepertoken.com/)

https://docs.litellm.ai/docs/provider_registration/add_model... (https://docs.litellm.ai/docs/provider_registration/add_model_pricing)

https://artificialanalysis.ai/api-reference (https://artificialanalysis.ai/api-reference)

https://github.com/simonw/llm-prices (https://github.com/simonw/llm-prices)

https://github.com/assistant-ui/modelpedia (https://github.com/assistant-ui/modelpedia)

https://github.com/pydantic/genai-prices (https://github.com/pydantic/genai-prices)

https://github.com/Portkey-AI/models (https://github.com/Portkey-AI/models)

https://github.com/truefoundry/models (https://github.com/truefoundry/models)

https://github.com/agentstation/starmap (https://github.com/agentstation/starmap)

https://github.com/dcSpark/ai-model-catalog (https://github.com/dcSpark/ai-model-catalog)

https://github.com/mitkury/aimodels (https://github.com/mitkury/aimodels)

https://github.com/nuxdie/ai-pricing (https://github.com/nuxdie/ai-pricing)

特定のモデルがいつ弱体化（ナーフ）されたかとか、プロバイダーがどのくらいの頻度で安くて性能の低いモデルにルーティングしているか（いわゆる適応型推論のバリエーション）といったデータが抜けてるね。

トークン単価だけじゃ何も分からないんだよ。例えば、モデルがタスクの途中でバカになってやり直さなきゃいけなくなるとか。もしそれが頻繁に起きるなら、実質のコストは表記の数字よりずっと高くなるわけだし。

こういうサービスなら、モデルに対して常に様々なタスクを実行させて、出力の品質を測定するような仕組みが必要なんじゃないかな（それでもプロバイダー側がテストを検知して最高のモデルを割り当てて結果を操作してくる可能性はあるけどね）。