AIベンチマークはもう限界？「飽和」の正体と今後を徹底解説

最近、AIの性能指標である「ベンチマーク」が頭打ち（飽和）しているという議論が活発化しています。本稿では、なぜ特定のタスクにおいてスコアが伸び悩むのか、その構造的な要因を解明した学術的な研究結果を紹介します。AIの進化を正しく評価するために、今のベンチマークが抱える限界と、今後エンジニアが注目すべき評価指標のあり方について深掘りします。

LLMもいよいよ限界が見えてきたかな。高度に非線形な空間における回帰で精度を出すにも限度があるしね。

パレートの法則を信じるなら、結果の8割は2割の原因から生まれるものだ。知能に関しては、まだまだ学ぶべきことが山ほどあるみたいだ。

真理についての古代哲学者の言葉を思い出したよ。この考え方は、現在のLLMの学習パラダイムとは正反対のものだね。

「真理を求める者は、古人の著作を学び、その性質に従ってそれを信じる者ではない。むしろ、古人の記述に対する自らの信仰を疑い、そこから得たものを問い直す者であり、人間の不完全さと欠陥に満ちた言葉ではなく、議論と論証に従う者である。したがって、真理を探究することを目的とする科学者の著作を調べる者は、自分が読んだすべてのものに対して敵対的な立場を取り、その内容の核心と周辺に注意を払い、あらゆる側面から攻撃しなければならない。また、批判的検討を行う際には自分自身をも疑い、偏見や甘さに陥ることを避けなければならない。」― イブン・アル・ハイサム

粗製乱造だね。

我々は、ベンチマークの半数近くが飽和状態にあることを発見した

Llama 4リリース直後からこの問題を考えていたんだ。それ以来、チームで飽和せず、汚染に強く、スケーリング可能な評価手法の設計に力を入れてきたよ。うまくいっているのは、オープンエンドの協力型や対戦型のゴールを持つマルチエージェント環境を使うことだね。マルチプレイヤーゲームとして設計するのが一番いい。結果的に、コーディングに関しては既存のどのベンチマークよりも実体験に近いし、実行コストも安く済むことが多い。

データはこちら：https://gertlabs.com/rankings (https://gertlabs.com/rankings)

これぞAIの粗製乱造って感じだ。グラフのデフォルトテンプレートすら変えていない。

https://agents-last-exam.org/ (https://agents-last-exam.org/) をチェックしてみて。まだまだ改善の余地はあるはず！

明確で収益化可能なユースケースがない状況で、多くのモデルプロバイダーが抽象的だったり、一般ユーザーにとって利用価値の低いパフォーマンスをベンチマークで競い合っているのは明白だよね。

その結果、「わー、数学ができるのか（どうでもいいけど）」とか「コードは書けるけど、質は微妙」といった結論ばかり積み上がっている。本来必要なのはこういうことだよ。

1. より安く、速く、リアルタイムであること
2. 環境が変わってもゴールを再評価し続け、注意力を失わずに長期間動けること
3. 特定のドメイン知識を素早くモデルに学習させられること（特定の業務フローなど）

著者や貢献者が37人もトップに並ぶ必要があるの？

おっと、僕の名前も論文に乗ったんだっけ！まあ、最近は論文に乗ってもあまり報酬があるわけじゃないけどね。

Y Combinatorが、この興味深い論文をトップトレンドのポジションから外したようだね。やれやれ、なぜだろうか？

00年代に育ったPCゲーマーとして、ずっとLLMやモデルの熱狂的なファンに警告してきたことなんだけどね。

ベンチマークは、新しくて斬新で、常に変化している間は便利なんだ。でも、少しでも停滞させれば、有用な指標ではなく「攻略対象のゲーム」に成り下がってしまう。PCゲームの世界では、ベンダーが特定のタイトルやベンチマークツール、シナリオに最適化して、一般的なパフォーマンスを犠牲にするのを見てきた。結局、業界はゲーム化されたベンチマークの上に成り立っていたという現実に直面することになり、「Gamers’ Nexus」や「Digital Foundry」のような存在が、その失敗の果てに生まれたわけだ。

LLMも結局は同じ道をたどるはずだよ。ベンチマークを作る人々も、意図は善意であっても、固定された採点基準や既知の試験問題、達成可能な「完璧さ」を信じ込むという同じ罠に陥っているからね。その結果、モデルはベンチマーク上のスコアは向上し続けるのに、リターンは逓減し、脆弱性は高まるという現象が起きている。本来の目的である実用性ではなく、自慢の種を得るための最適化が行われているからだ。だからこそ、消費者の機材で大規模モデルを動かす手段として、ユニファイドメモリプラットフォーム上でのMoE実行や、モデルサイズを縮小するための3値化モデル（Bonsaiに注目！）への関心が高まっているんだ。どちらも、最先端でベンチマーク飽和したモデルを使いつつ、スコアの低下を最小限に抑えながら、実用レベルでは同等の性能を発揮できることを証明している。

新しいベンチマークを作ったところで解決はしないだろうね。前に進むには、常に進化し続けるワークロードで客観的に評価するしかない。以前の「自転車に乗るペリカン」的なアプローチをもっと増やして、多様な視点やユースケースから評価すべきだ。放射線科医がAIラボと共有していないサンプルデータでモデルを酷使したり、IT担当者がエージェントに具体的な実務タスクを課したりする。汎用知能を証明するには、消費者に透明でありつつも、AI企業側が対策を打つのが困難あるいは不可能な方法で、専門家がモデルを評価する必要がある。

そうやって初めて、スコアに意味が生まれるんだよ。

今のモデルにはもっと大量の問題セットが必要だ、ってことを随分と遠回しに言ってるね。300問じゃ違いを見分けるには足りないよ。