AIモデルは「あえて」賢さを抑えられている？その理由と背景に迫る

最近、LLMの性能が意図的に下げられているのではないかという議論が活発化しています。パフォーマンス低下の背後には、計算コストの最適化や安全性確保のためのフィルタリング、あるいはリリース後の調整が関係している可能性があります。なぜ最新モデルが「おバカ」になっていくのか、その真意を探ります。

考え方自体は合理的だと思うけど、SimpleQA Benchは2025年9月で計測を止めてるんだよね。だから、もっと新しいデータがあったら面白いんだけどな。（これってAIが生成した議論が古い事実を使っちゃうのとちょっと似てるよね。自分もよくやっちゃうことだし）

コーディングやエージェントとしての活用ばかり注目されているけど、世の中の他の人たちはそれに気づいているのか、あるいは興味があるんだろうか？このサイトの考えとは裏腹に、AIの用途の大半はコーディングやハーネス（外部ツール連携）じゃないからね。もしかしたら、これこそがアメリカ企業が勝ち続けている理由なのかもしれない。

例えば自分は、Flash V4の230Bパラメータより、たとえ知能が低くてもKimi K2.6の1Tパラメータの方を好んで使っているよ。

理想を言えば、プラグイン可能なナレッジベースが欲しいな。

例えば、SwiftUIでナビゲーションアプリを作っているとするだろ。その時は、コーディングと推論の基礎知識を9B、Swift/SwiftUIの知識を10B、GIS（地理情報システム）や地理の知識を5B、フロントエンドのアプリ設計知識を5B追加する、といった具合にね。自分のモデルにはPythonのコードなんて1行も必要ないわけだし。

次に電子部品について調査したいときは、エージェント的な調査テクニックを持つ15Bのモデルをベースに、電子工学の知識を10B追加する、といった感じさ。

自分は汎用モデルなんて求めてない。あれはみんなのためにすべてをこなそうとしすぎるからね。今やっている作業に特化したモデルをパズルのように組み立てて、それをローカルで動かしたいんだ。

素晴らしい記事だね。今後この方向に進んでいくのか、それとも別の展開があるのか興味深いところだ。

将来的には、モデルカードに知識のカットオフ日が記載されなくなるバージョンが登場するかもしれない。モデルの重みの中に残っている知識が、数週間単位ではなく数年単位で陳腐化してしまうからだ。

未来の話かな？

つい最近も、この問題に対する2つのアプローチについて読んだよ。

Cactusは「Needle」[0][1]を開発した。これはツール呼び出しに特化したわずか14MBのモデル（それでもLLM！）で、世界に関する知識は組み込まれていない。

一方で、VibeThinker [2][3]は、ツール呼び出しの構造ではなく、世界知識に基づいた推論に重点を置いている。

これら2つのアプローチを、信頼できる検索ツールや安全なインターネット接続方法と組み合わせれば、事実関係の回答は少し遅くなるかもしれないけれど、ハルシネーション（嘘）をつかないモデルができるはずさ。

そうなると、ハルシネーションの検知がより重要になるね。

LLMが膨大なマイナーな事実を記憶し続ける必要なんてないんだ。そんなものは検索エンジンに任せればいい。ただ、LLM側が「自分は何を知らないのか」を明確に認識しておく必要があるという話さ。

（ちなみに、Googleの検索APIは1,000クエリあたり2.50ドルから料金が発生する。もしLLMがGoogleに問い合わせるなら、コストがかかるってことだね。）

いやはや、あのブログ記事もここでのコメントも、まるでSF小説を読んでいるみたいだ。

具体的に言うと、現実や制約を無視して、オタクが夢見る未来を書き連ねたクリエイティブな文章って感じ。話題の内容を考えると皮肉な話だけどね。

もちろん、夢を見続けることは大切だよ。ただ、自分たちが今「夢を見ているんだ」という自覚を持って、そう認識しておくことが大事だと思う。

でも、推論と事実は本当に切り離せるものなのかな？

例えば世界大戦のような人間の状況について適切に推論するには、いくつかの事実について推論する必要があるんじゃないか？そして、それらの「事実」がどう人間の行動を変えるのかを推論するわけで。純粋な推論だけで、人間集団がどう動くかなんて予測できるものなのか？人間は合理的な存在じゃないし、代数的なルールに縛られた論理的で決定論的なマシンじゃないからね。

これでハルシネーションはほぼ解決する

今のAIは、テレビ番組や映画を制作する映画会社のようなものだ。

あなたの質問は、ストーリーのあらすじみたいなもの。映画会社に「こんな映画が見たい」と伝えると、AI映画会社は既存の似たようなストーリーを探し始める。もし似たような話がなかったり詳細が欠けていたりすれば、脚本家が想像力で穴埋めをする（これがハルシネーションだ。ただの創作だよ）。

だから、AIのハルシネーションなんて解決できるわけがないんだ。

ベンチマークと、GPT-5の失敗例を見てみるといいよ。キャリー・アンダーウッドのアルバム『Cry Pretty』がいつRIAAからゴールド認定を受けたかという質問に対して、「2018年10月23日」ではなく「2019年4月22日」と答えている例とかさ。

もし「世界一賢い人」のイメージが、火曜夜のパブクイズでいつも勝つような奴を指すなら、このブログ記事はまさに君向けだ。それに、epoch.aiのデータを見る限り、記事の根本的な事実認識も間違っているしね。すごく「それっぽい」話だよ。

このAI生成記事（Pangramによるもの）は、かなり時代遅れだね。

ツール使用不可の事実検索ベンチマークであるSimpleQAで、現在のトップはGemini 2.5 Proの53%であり、お金で買える最高の検索能力でも半分は答えられない。

SimpleQAはずっと更新されていないよ。Gemini 2.5 Proは16ヶ月前のモデルであって、「お金で買える最高」なんてものじゃない。

最も有望な部分は、これがハルシネーションに与える影響だ。事実が重みの中に存在する場合、間違った事実は発見も修正もできない。

これは混乱しているね。LLMのハルシネーションは、重みが「間違った事実」を含んでいるから生じるわけじゃない。実行時に現れるアーティファクトなんだよ。

事実がモデルの外にあれば、間違った回答には住所がある。モデルはドキュメントを引用するから、そのドキュメントを開けばいい。ドキュメントが間違っていれば、それを編集すればいい。

現代のLLMならどれも、推論過程を説明させて主張のソースを探すことができる。このことと、事実を重みに保持すべきか外部ハーネスに頼るべきかには、何の関係もないよ。

インターネット上には間違った情報が溢れているし、それを魔法のように編集してすべて正しくするなんて無理だから、この理屈は役立たないな。

モデルが事実関係で間違っている場合、ソース付きの主張なら検証可能だが、重みからの主張は検証できない。

なんで？もしモデルの重みが「バート・シンプソンが2020年に大統領になった」と主張していたとして、なぜそれが検証不可能になるんだ？