愛すべき名作『プリンス・オブ・ペルシャ』で検証する、AIフロンティアモデルの進化

AIの進化を測る指標として、私が選んだのは伝説的な名作ゲーム『プリンス・オブ・ペルシャ』でした。最新のフロンティアモデルが、この古典的かつ複雑なゲームのメカニズムや攻略に対してどのような挙動を示すのか。その分析結果と洞察を深掘りします。

提示されたプロンプトがひどすぎる。それなのにLLMが何かしら使い物になるものを作り上げたのが驚きだよ。

> 最初のプロンプトはシンプルだった：「このオリジナルのコードにはPrince of Persiaの6502アセンブリコードがある。レベルセーブファイルを使って、C#コンソールで動くようにしてくれ」

コンソールで、何をどうしろって？

ドイツの雑誌（c't）が2008年にAsteroidsのプログラミングコンテストを開いたんだ。ゲームのエミュレータ出力にアクセスして、キーボード入力を提供しゲームを操作するクライアントを作るというもの。

コンテストで優勝した最高スコアは約13万7000点だった。
先週、GPT-6のAstra、Sol、Lunaを使ってこのタスクを実装し、山登り法を試してみたんだ。賢さの違いがどれくらいあるのか気になってね。Lunaは何かしら実装したけど、2万点を超えることはなく、バラつきも大きかった。
Solは人間の実装に近いレベルに達した。

一番早く終わったAstraは、ゲームが安定してクラッシュし始めるまでに約170万点というハイスコアを出した。その過程で、ゲームの情報を抽出するためにROMの一部を逆アセンブルまでしていたよ。

詳細なドキュメント作成や測定まではやり込んでいないけど、かなり印象的だった。

話が逸れるけど、最新のPrince of Persiaは本当に楽しいよね

macOSのゲーム開発には最強の言語であるSwiftを使って、オリジナルのPrince of Persiaを作ってみようと思う。古典的な2Dシネマティックプラットフォーマーだし、Apple純正のフレームワークを使えば巨大なクロスプラットフォームエンジンのオーバーヘッドなしにやりたいことができる。シンプルさが好きなんだよね。

というわけで週末はこれに費やすことにした。フラグを立てて、現実逃避でもしててくれ

壊れたバージョンを修正するより、各モデルともゼロから作り直させたほうが良かったんじゃないか

AIの真の奇跡は、こんなプロンプトでも動作させられたことだろうね。

「キャラは出てきたけど動きが全部おかしい…プリンスが床にいない」

自分もゲーム開発者だけど、投稿者が何を求めているのかさっぱり分からないよ。

これはモデルの比較というより、Prince of Persiaの作り直しを改善するためにモデルを順次使っているだけだよね。いずれにせよ、LLMによる実装を拒むようなゲームがあるのかどうかを見るのは興味深い。最近、Fableを使って多数のOpusエージェントを管理し、Starcraft 2のようなRTSゲームの開発を始めたんだけど、3日で3種族、40以上のユニット、40以上の建物があるプレイ可能な3Dゲームに仕上がったよ。

https://www.pangram.com/history/09ae8c73-2d40-432b-aea7-c764e7739326?ucc=t8c6BkzVOh8

時間を無駄にするのはやめとけ。

モデルに古典ゲームを再現させようとする試みをよく見かけるけど、興味を持つ層がいるのは分かる。誰しもがわざわざエミュレータを立ち上げたいわけじゃないしね。でも、なんだか奇妙に感じるんだ。英語が新しいプログラミングの高級言語になるのではなく、完成済みのゲームを仕様書としてLLMに渡し、コピーさせているだけだから。

それなら英語の曖昧さという問題は回避できるけど、作りたいものをすでに持っていなければならない。まあ、トークンは安いからいいのか。

Prince of Persiaもいいけど、こっちを見てくれ。非常に優秀な開発者が一人で、フロンティアモデルやオープンウェイトモデルを使い、数週間で17ものゲームを完全または部分的にリバースエンジニアリングしてWebに移植した事例があるんだ：

https://georgzoeller.com/blog/posts/what-reverse-engineering-and-modernising-an-old-war-game-tells-us-about-the-econ/

彼はWoW（World of Warcraft）のゲームコンセプトを別のものと「合成」してFPSに変えてしまうようなこともやっている：
https://news.ycombinator.com/item?id=49652089

彼を「AI信者」だと勘違いしないように付け加えるけど、彼の他の投稿を見れば分かる通り、AIフロンティアラボやテックブロガー、そしてこのAIバブル全体に対して極めて批判的だよ。

それでも彼は経験豊富なゲーム開発者であり、彼の制御下では最新のモデルがこれほどクレイジーな偉業を成し遂げている。あなたが読んでいるのは、ドメインエキスパートによる分析であり、それが業界にとって何を意味するのかという話なんだ。