【必読PDF】天才クロード・シャノンが解き明かす「サイクル」の正体：情報理論の巨人の思考に迫る

情報理論の父として知られるクロード・シャノンに関する資料『Claude's Cycles』のPDFが公開されました。この記事では、彼の理論や独創的な発明、そして思考の根底にある「サイクル」の概念について詳しくまとめられています。エンジニアとしての基礎教養を深め、知的な刺激を得るのに最適なドキュメントです。

確率分布のRL（強化学習）スケーリングが効く問題空間を考えるのはワクワクするね。以前は、手法やワークフローを知っている人がいたとしても、試行する高速な手段がなくて人間の認知に頼るしかなかった。今はこうしたパターンが確率分布に組み込まれていて、適切な「召喚呪文」さえあれば誰でもアクセスできる。エキスパートはモデルを正しい条件付き分布に導いて適切な手法を引き出す方法を知っているから、当然もっと使いこなせるだろうね。気になるのは、科学の最前線が広がるスピードにモデルがどうついていくか。モデルにエキスパートの振る舞いを入れるのにRLが必要なら、エキスパートがさらに速く境界を押し広げ始めたらどうなるんだろう。2030年にAnthropicはどうやってClaudeを最新に保つのか。(a)固定モデルでの継続学習（コンテキスト窓の拡大？難しそう）か、(b)継続的なトレーニング（コスト増）か。すごい時代だよ。

LLMって、ここの多くの人が主張しているみたいに、次に来る確率の高い単語を探すだけのものじゃなかったっけ？その前提でこの結果はどう説明されるんだろう。この問題解決のプロセスは「思考」って呼べるのかな？

アーサー・C・クラークで有名なペントミノパズルをClaudeに解かせてみた。ボードと駒を64ビット符号なし整数で表現する方法を教えるまではかなり苦戦していたけど、教えた後は爆速で解くC#プログラムを書いてくれたよ。でも20x3のケースで、実際には2つしかない解を4つも見つけちゃったんだ。結局ペントミノの一つを間違ってマッピングしていた。人間がやるような、ちょっとマヌケなミスだね。

要約（数学じゃなくて経緯） — クヌースが問題を出し、友人がClaudeを使って30回ほど探索を行う。人間の丁寧な誘導の結果、Claudeは最終的に全ての奇数で解を見つけるPythonプログラムを書いた。クヌースはそのアプローチの証明を書いて、Claudeの貢献に大満足。偶数のケースは未解決のまま（Claudeはあまり進展させられなかった）。

Claude Codeを使ってDEKの論文を平易な英語で理解する時が来たかな。大学院で形式検証をちょっとやってた身としては、こういう人間とモデルの共同作業で解決できるロングテールの問題って山ほどある気がする。個々の問題自体は些細でも、知性への理解が積み重なっていけばいいな。

素人考えだけど、こういうLLMには大きな強みがいくつかあると思う。1つは超人的な知識量、2つ目はコネクション作り、3つ目は飽くなき試行錯誤。この3つが合わさると、たまに凄いものが生まれる。もしかしたらP!=NPの証明も、個人の知識不足やバイアスのせいで人間が見落としている、どこか意外な繋がりにあるのかもしれない。

「フィリップはまた、奇数のケースが解決した後に偶数のケースも進めるよう頼んだけど、しばらくして行き詰まったみたい。最後には探索プログラムを正しく書くことも実行することもできなくなって、すごく奇妙だった。だから探索を止めたんだ。」 終わりの方のこの記述、興味深いね。claude.aiかClaude Code、どっちを使ってたんだろう。コンテキストを使い切って「おバカ地帯」に入っちゃったのかな。

未解決問題に取り組むには最高の時代だね。10年近く前に大学院の研究成果を出した身としては、Claudeと一緒に未解決問題に挑むのをよく空想しちゃうよ。

クヌースからこんな誤解を招くようなイントロが出るとは思わなかった。まるでClaudeがクヌースの数学の問題を解いたみたいに読めるけど、実際はClaudeが色々な解決例を出して、それをクヌースが手動で形式的な証明に一般化したんだよね。Claudeのやったことは確かに有用だけど、イントロで貢献の範囲をもっと明確にしてほしかったな。

以前HNに投稿された、WolframとクヌースのGPT-4に関するやり取りを思い出すよ。その時のクヌースは否定的で、「私自身はこれからもそのような研究は他人に任せ、本物で信頼できる概念の開発に時間を捧げるつもりだ。あなたもそうすることを願っている」なんて言っていた。最新モデル、特にOpus 4.6あたりから、こういうLLMへの拒絶反応が和らいできている気がする。新しい証拠が出てきた時に、意見を変えてアップデートできるのは素晴らしいことだ。