【AI×レトロゲーム】JEPAワールドモデルでスーパーマリオブラザーズを攻略！「LeMario」が面白い

「LeMario」は、スーパーマリオブラザーズを題材にJEPA（Joint-Embedding Predictive Architecture）を用いたワールドモデルの学習を試みる野心的なプロジェクトです。AIがゲームの挙動や物理法則をどのように理解し、予測するのかを検証する非常に興味深いアプローチです。

すごくいいものだね。知見を共有してくれた著者に感謝！ただ、潜在空間でのプランニングに関して一つ問題だと思うのは、かなりノイジーになりがちでゲーム内の位置を正確に表せていない点かな。潜在変数はあくまでセマンティック（意味的な特徴）を学習するようにできてるから、オプティマイザが特定の特徴量に集中しすぎて位置関係を見落とすことがあるんだよね。つまり、潜在変数を直接最適化するだけじゃ「どこ」に向かえばいいのか判断できないってこと。