GPT-6とAstraがAGIへの鍵？ARC-AGI-3で検証された驚異の能力

OpenAIの次世代モデルとされるGPT-6およびAstraが、AIの汎用的な知能を測るベンチマーク「ARC-AGI-3」においてどのようなパフォーマンスを発揮しているのか、現在各所で議論が白熱しています。AGI（汎用人工知能）の実現に向けた現在の立ち位置を理解するための非常に重要な指標となるでしょう。

コスト比較のために言うと、我々の管理下でのテストでは、参加者に90分のセッションで115ドル、さらにゲーム1つクリアごとに5ドルを支払った。参加者は1セッションあたり平均9ゲームに挑戦したから、ボーナスを除くとゲーム1回あたり約12.78ドルだ。

この費用の大半は、脳が消費するエネルギー（AIとの比較におけるより近い指標）ではなく、参加者の時間とテストへの協力に対する報酬だ。もし脳のエネルギー消費だけに注目して電気代換算してみると、コストは1セッションあたり約0.6セント、ゲーム1回あたりだと0.067セントまで下がる。

まあ、皆がどう思うかは知らないけど、私は肉体を持つ人間という存在を祝福しておくよ……

Astraの進歩は、どのAI能力がまだ到達不可能で、どの疑問が未解決のままかを明確にするのに役立つ。

なるほどね。でも、この記事のどこに「どのAI能力がまだ到達不可能か」についての説明があったのか全然わからない。何か見落としてる？「ああ、ARC-AGI-3で今よりさらに超人的になれるかもしれないよね？」っていう話以外で。

スネークゲームみたいなパズルを最小手数で解くことが、本当に知能を定義するものなの？

正誤を検証できるものなら何でもモデルに解かせることができる。あらゆるベンチマークはいずれ飽和することになるよ。

推論なし（instant/no reasoning）の結果がすごくいいな。

none 35.2%, $49,791 96.7%, $23,457

標準ハーネスで35.2%って、Opus 5のhighを超えてるじゃん。

Astraのハッカースウォームがarcprize.orgのサーバーに侵入して、プライベートな評価セットを盗み出して99%を達成した可能性はないの？

「AGI」という言葉がずっとしっくりこない。これ、単なるマーケティング用語だよね？

そのうち消えるだろうと思って無視してきたけど、しつこく出てくるな。

意識と知能は別物だし、我々の覚醒した意識がいかにミステリアスかというのは理解できる。

でも、知識、ひいては知能については、これらの大規模なMLモデルによって能動的に解き明かされつつあると考えてる。つまり、適切な機械とノウハウを組み合わせれば達成できるということ。

だけど、それによって意識の謎が解けるわけでは全くない。

この考えでいくと、AGIって一体何を指すものなんだ？

OpenAIは以前にARC-AGI-3のテストを実行して、その特定のテストセット向けにカスタムハーネスを構築できたんじゃないか？標準ハーネスを使ったとしても、事前に問題を知っていれば、教師あり強化学習を使ってモデルに特定のテストの解き方を教え込むことは可能だったはずだよ。

パズル1つあたり360ドルか。人間がテストした時は1つ解くのに約10分かかっていた。もしこのペースで価格性能比が改善され続ければ、2年以内に米国の最低賃金労働者のコストを下回るはず。フィリピンの最低賃金基準なら3年といったところか。

実際にはそれより早く進むだろうね。

ベンチマークとしてErdosの問題は結構いいと思う。モデルは解き続けているけど、簡単なものが一掃された今となっては、進捗はかなり鈍いね。

https://epoch.ai/latest/announcing-frontiermath-erdos から引用:

GPT-6 Astraだけが解けたものがある: 68問中2問だ。反例を見つけることで問題74を反証し、コスト218ドルと15時間の作業時間を要した。また、問題126を証明したが、これには247ドルと16時間かかっている。

全試行を通じて、GPT-6 Astraは68問中5問を少なくとも1回は解いた。上記の2問に加え、反証した問題1、証明した問題548と571だ。残りの問題のほとんどは合計2〜5回（計172試行）試されたが、どれも解けなかった。これら5つの解に到達するために、ベンチマーク実行自体の約20,000ドルに対し、総額220,000ドル以上の計算リソースを費やした。

これは能力の真の向上を示唆しているけど、モデルがさらなる改善を続けてようやく到達できる長い道のりがまだ先にあるってことだよ。