AIのワーキングメモリは人間を遥かに凌駕している！？驚愕の事実を徹底解説

近年のAIモデルは、人間の脳が持つワーキングメモリの容量を圧倒的に上回る情報処理能力を備えています。人間が一度に保持できる情報量には限界がありますが、AIはコンテキストウィンドウの拡張により、膨大なデータを並列かつ継続的に保持・操作することが可能となっており、この技術的ブレイクスルーがAIの知能をさらなる次元へと引き上げています。

「力技で圧倒する」という側面もあるね。AIはとにかく疲れない。数学者が研究の方向性を決めて1週間没頭しても成果が出なければ、イライラしたり休憩が必要になったりするものだけど、AIには疲れも落胆も関係ない。ただひたすら、何か結果が出るまで次の作業に移り続けるだけ。

人間の数学者はポジティブな結果しか発表しない、という事情があるよね。教授たちの引き出しには「ネガティブな結果（失敗例）」が山ほど眠っているかもしれないけど、人間にはインセンティブや帯域幅の制限があって、そういった有益なデータを発表することは不可能に近い。

でもAIエージェントにはそんな制限はないから、失敗の記録を簡単に発表して再利用できる。最近のプロジェクト（https://www.theoremdb.org ）も、まさにこの事実を活用しようとしているものだね。https://news.ycombinator.com/item?id=49227505

総じて、LLMは人間の数学者とは異なる制約と動機付けで動いているし、今後1年で起こる変化の波を見れば、それが嫌というほど明らかになるはず。

「非常に知性が高い」と言われることの多くは、結局のところ「周囲より多くのことを記憶している」ことに過ぎないんじゃないかと思ってる。ソフトエンジニアとしてのキャリアを振り返っても、周囲から「パフォーマンスが高い」と評価された仕事のほとんどは、単に「他人なら面倒くさがって諦めるような問題に、人一倍エネルギーを注いだ」か、「過去の仕事や独学で得た知識を適宜引っ張り出して適用できた」だけだった。

自分の人生で本当にオリジナルのアイデアなんて出したことがないよ。AとBを同時に知っている人が少ない場所で、それらを組み合わせただけだ。その観点で見れば、LLMがやっていることも本質的には同じ。文脈の整理が自分の方が上手いからLLMより速く動けることもあるけれど、AIはちょっとヒントをやるだけで正しく修正してくれる。例えば「メモリリークだ」とAIが言い張っても、勘が働いて「GCの統計もチェックして」と言うと、実はリークじゃなくてチューニングミスだとわかる。そこから先のチューニング作業になると、自分よりAIの方がエネルギーがある分、ずっと上手いんだよね。

本当に真の天才というものが存在するなら、それはデータと仮説を組み合わせるだけじゃなくて、運を味方につけて何かを生み出すようなものかもしれない。まあ自分の経験が全てじゃないし、周囲を見回しても、そこまでのものに出会えるほど幸運ではなかった、というのが正直なところ。一緒に働いた中で最も優秀と言われるような人たちでさえ、この壁を越えるような姿は見せてくれなかったし。

Michael Nielsenのエッセイ「Augmenting Long-Term Memory」を思い出したよ。[1]

多くの人は、成功した数学者像として「並外れて頭が良く、IQが高く、非常に複雑な概念を頭の中で処理できる」というモデルを持っている。彼らの賢さが複雑な問題を解決する能力を与えている、という認識だ。つまり、高性能なエンジンを積んでいるという考え方。

トップレベルの数学者が非常に聡明であることは確かだ。だが、何が起きているかについて別の説明がある。それは、Simonが言うように、多くのトップ数学者がハードワークを通じて、普通の人よりもはるかに多くの複雑な数学的塊（チャンク）を内面化しているということだ。つまり、私たちには非常に複雑に見える数学的な状況が、彼らには単純に見えているだけなんだ。彼らの脳が複雑な処理に向いているというよりは、事前の学習によってチャンキング能力が磨かれており、多くの人が複雑だと感じる状況を彼らは単純なものとして処理し、推論しやすくしているということ。

以前、数学の講義中に彼のAnkiアプローチを試したことがある。ある補題についてカードを見直すたびに、興味深い発見があって面白かった。多くの補題が時間と共に洗練されていく感覚があったし、数学に対する完璧な「解決策」ではないにせよ、やっている間はとても楽しかったよ（まあ、その後意志が弱まって時間が取れなくなり止めてしまったけれど）。

[1] https://augmentingcognition.com/ltm.html

AIについて語る際に、自分たちを慰めるような言い方をしているだけのように聞こえるね。

より単純な説明はこうだ。ワーキングメモリは知性の必須条件であり、ワーキングメモリが大きければ、それだけ知性は高くなる。だから、AIは実際に数学者よりも知的になり得るんだよ。

これはかなり明白なことだと思っていた。私が使っているAIモデルのどれも、特に「賢い」とは思わない。でも、彼らは私が一生かけて読めるよりも何桁も多くの知識を読み込んでいる。彼らは私よりもはるかに優れた「本の知識」を持っているから、そういう目的で利用しているんだ。他の人なら知っているだろうけど自分は知らない、という場面でね。逆に、本当に新しいことに取り組むときは、AIは文脈をほとんど理解できないから自分でやるしかない。まあ、基本的な原則やベストプラクティスを教えてもらうのにはまだ使っているけど。

投稿する前にサイトの履歴を確認したほうがいいんじゃない？これを書いたやつ、どうも「人種科学」系のいかれた論者のようだよ。

超人的なワーキングメモリ、これこそがLLMのアドバンテージだと自分も言っている。推論や判断が不安定だという欠点とセットだからこそ、AIは人間の知性の「代替」ではなく「補完」にしかならない。

その一方で、LLMは適当なミスや誤った選択をするし、コードを書く際に「短く」より「とにかく多く」書くバイアスがある。別のLLMを使って出力をチェックさせることで多少は改善できるけど、収穫逓減が激しい。もし彼らが完璧だったとしても、人間側がコードベースへの意識や理解を全く持たなくなることによるコストは発生し続けるだろうね。

AIによるコード生成のコストと、それ以外のあらゆることに対するAIの価値を人々が認識するまでには時間がかかるだろうけど、いずれそこにたどり着くはず。

博士課程にいたときに気づいたんだ。思考の本質って結局こういうことなんだと。

1. あらゆるテクニックを駆使するために、膨大な情報を記憶すること
2. 問題に対して手持ちのテクニックを試しまくること
3. どの情報を基に何を試すべきか、判断を最適化すること
4. ランダムにいろいろ試してパターン（つまり新しいテクニック）を発見すること
5. 自分のテクニックを他人に説明して、相手が1〜4のステップを自力でこなし、さらに良いテクニックを生み出せるようにすること
6. テクニックを共通部分と特殊部分にリファクタリングして、整理された理論を作ること
7. 次世代が理解できる言語でドキュメント化すること

思考って、突き詰めればこれだけ。

こういう状況を踏まえると、「将来的に『保守可能な』コードってどういう姿になるんだろう？」とよく考える。「優れたコーディング」の多くは、人間の脳のワーキングメモリの限界に合わせて最適化することだったからね。

とは言いつつ、目にする研究結果では、LLMは冗長なコードを生成しがちだけど、適切にメンテナンスされてコードが散乱しないように管理されていれば、長期的には高いパフォーマンスを発揮するようだ。自分は主にツール開発でAIを使っているけど、その文脈でいうと、自分は長年「過剰に抽象化する」癖をつけてしまったんじゃないかと思うことがある。AIがいれば、最初から無理に凝った作りにしなくてもツールは動くし、あとはイテレーションを回しながら進化させていけばいいんだから。