徹底検証：ClaudeとGPTの知識カットオフと事前学習の裏側

AIモデルの知識カットオフ（学習データの期限）と事前学習のタイムラインについて深掘りします。現在のLLMがどの時点までの情報を持ち、それがどのように開発プロセスに組み込まれているのかを考察します。

最高だった！一つ言及されていなくて私がいつも前提としているのは、「Opus 5」みたいなマーケティング上の名前は単一のモデルではなく、複数のモデルやバージョンが存在し、時間の経過とともに細かなアップデートが加わっていくという点。あと、多くの質問は正しく回答するために単純なモデルやプログラムへ振り分けられていると思い込んでいたんだけど、投稿を見る限りそうではないようでちょっと驚いた。ともかく、素晴らしい投稿をありがとう。

つまり遅くとも2026年1月までには、今後数年で計算リソースが2桁（2 OOM）向上した再トレーニングが行われるってことかな。AIがどの段階で頭打ちになるのか楽しみ。

興味深い分析で読み応えがあった！AnthropicがChatGPTのデータを学習に使っていないという主張については、私はそこまで寛大にはなれないな。今はどうか分からないけど、Anthropicがまだ弱小だったGPT-4時代には、そんなことがあっても不思議じゃないと思う。Amodeiがそれをいかに倫理的であるかと証明するために、うまく立ち回っている姿まで目に浮かぶよ。

こういう分析手法があれば、トップレベルのAIラボがモデルをリリースする「適切なタイミング」を見計らっているかどうかを確認できるんじゃないか？各社がポストトレーニングやテストを終えてすぐにモデルをリリースしていないのは明らかだと思うんだけどね。とはいえ、各ラボがどれくらい「待機」しているのかを知る術は現状ない。もしこの方法でより良い推計ができれば、オープンウェイトのモデルが実際にはどこまで迫っているのかを測れるかもしれない。

すごく良い読み物だった

様々なモデルを実験してみた感じだと、LLMには知識のカットオフ日時が分野ごとに分かれているんじゃないかと思ってる。例えば歴史的な文献（ギリシャ史、シェイクスピア、ゲーテ）は変わらないし、一般知識は特定の分野だけ更新される。技術は定期的にアップデートされるけど、ソフトウェアは意外と安定しているよね。Gitを例にすると、基本的なコマンドセットさえあれば99%の仕事はこなせるし、新しい機能は知られていなかったり不要だったりする。一方で、ゴシップ的な知識（政治やテイラー・スウィフトのアルバム）は常に最新の状態になっている。