最新のフロンティアモデル、物理学をどこまで理解しているのか？

現在、最先端のフロンティアモデルは、実際の物理学の問題に対してどの程度のパフォーマンスを発揮できるのでしょうか？その能力と限界について深掘りします。

記事：『物理学においてフロンティアモデルはどれほど優秀なのか？専門家による再評価で明らかになった、壊れた評価指標と主要ベンチマークの飽和状態』

イェール大学のJohn Sousが発表した研究がかなりしっかりしてる。物理学のベンチマークのほとんどが、正解を不正解と判定し続けるという欠陥を抱えていることを指摘しているんだ。

手作業で採点し直してみると、モデルは実質的にすでにベンチマークを飽和させていることが分かった。これはちょっと怖い話だよね。

これは興味深いし、ロボティクス分野にとっては実はかなり重要だよ。

ずっと待っていたんだけど、今のところ各社ともあまり関心がないみたいなんだよね。

適切なコンテキスト（物理学の少し専門的な知識が必要だけど）を与えれば、この問題は解決できる。

あと1年もすれば、フロンティアモデルはこの分野でもとんでもなく優秀になるはずだ。

（物理学者です）

個人的な経験から言うと、フロンティアモデルは言葉から物理的な状況を理解することに全く苦戦している。（まあ、Astraはあまり触ってないけど。GPT-5.6 Solは、現実の物体を知っている人なら絶対にしないようなとんでもないミスを犯すよ。高度な物理の話じゃなくて、NPTネジについて聞いていただけなのにね。）

でも真面目な話、このベンチマークはどうなってるんだ？論文内の例題を見てくれ。

PHYBench、問題140：同じロープ張力に対する等価な式
問題文：同一の均質な球体3つを、滑らかな水平面上に互いに接触させ、かつ十分に接近させて置く。この球体の中心の高さにロープを巻き付けて縛る。4つ目の同一の球体を、下の3つの球体の上に置く。ロープにかかる張力Tを求めよ。各球体の重さはPとする。

論文の筆者は、モデルの回答が正解と代数的に同等であることに採点者が気づかなかった点を重視しているみたいだけど、もっと重要な問題を見落としてるんじゃないか？

1. 「互いに接触させ、かつ十分に接近させて置く」：正解は「先生、'十分に接近させて'ってどういう意味ですか？テーブルの上で正三角形にして、全員が接している（つまり赤道部分で接している）ってことですよね？それとも何か別の配置を想定してます？」だろ。

2. 答えは0。野球ボールや何かを4つ用意して、3つで三角形を作って上に1つ乗せてみてくれ。適切な面の上ならそんなに難しくない。さて、バラバラにならないように想像上のロープを軽く巻いてみる（後述参照）。でも、そもそも動かないんだから張力なんて必要ない。つまり、モデルの回答も正解データも間違っていると思う。

3. そもそも、初期張力（プレテンション）なしで、球体の赤道にどうやってロープを巻くつもりなんだ？摩擦か？でも、正解を導くためには摩擦がないと仮定する必要がある気がする。（あるいは、球体同士の界面には摩擦があるが、球体とテーブルの間には摩擦がない？どのみち検証する気にはならない。）つまり正解は「無限大か、あるいは不可能。ロープが必要とされるシナリオでは、記述された配置では安定せず、重力でロープが下に落ちてしまう。ロープが落ちれば張力は0になり、上の球体は落ち、下の3つは転がってしまう」かもしれない。

4. 答えは「好きな張力でいい。好きなだけ強く巻けばいい」かもしれない。野球ボール3つを三角形に並べて輪ゴムで縛り、上に4つ目を乗せるのを想像してごらん。張力なんて選ぶ輪ゴム次第だよ。

問題文を都合よく解釈すれば正解にたどり着けるのかもしれないけど、それを深掘りする気にはなれなかった。

今のところの結論としては、LLMは入力と（学習・検証用）出力に完全に収まっている問題に対しては信じられないほど優秀だけど、彼らも、彼らをトレーニングしている人間も、入力と出力の核心部分については実は大したことないんじゃないかな。もし誰かがベンチマークスコアを上げるためだけにモデルを訓練しているとしたら、それは「ダメなモデル」を作っていることになる。

いいね、共有してくれてありがとう！