35KBの巨大なプリプロンプトをOpusからローカルのOllamaへ移行する際にハマった罠

OpusからセルフホストのOllamaへ、35KBもの巨大なプリプロンプトを移行しようとした際に遭遇した注意点とテクニックを共有します。

要約：ローカルモデルはコンテキストウィンドウが小さいから、ホスト型の100万トークンウィンドウで上手くいっていた35kBのプロンプトも、ローカルの65K（！）トークンウィンドウだとクラッシュしちゃうんだよね。ネガティブなことは言いたくないけど、これを読んでいてもっと中身のある話を期待してたから正直がっかり。テーマ自体は面白そうだったんだけどね。

この記事から何か新しい情報を得られるかと思ってたんだけど、残念ながら自分が既に試して行き詰まった「デッドエンド」と同じ内容だったよ。LLMを個人で使うためのローカルハードウェアが現実的な価格で手に入るようになるには、まずはバブルが弾けるのを待つしかなさそう。

この記事は肝心な問題を捉えてないな。もしプロンプトが35kbもあるなら、それはプロンプト自体が分かりにくくて焦点がブレていて、どのLLMを使ってもまともに動かないし、無駄にコンテキストを肥大化させているだけだよ。現時点では、ほとんどの個人や企業が推論エンジンをどう動かしているかを考えると、モデル（OpenAIやAnthropic、中国のTigers/Dragonsを含むね）に関係なく、公称されているサイズがどうあれ、250kトークンあたりがモデルが正確に注意を払える限界なんだ。プロンプトは切り分ける必要があるよ。LLMが使えると思うなら、LLMに全体の計画を立てさせて、その各ステップを別々のセッションで実行するようにすべき。前の成功したステップのコンテキストでパンパンに膨らませたままにするんじゃなくてね。コンテキストの劣化やサンプリングの問題が完全に解決されるまで、LLMが実運用レベルになるとは思えない。現状はまだその段階に達していないし、大手の推論プロバイダーもその辺の研究を統合しようとすらしていない。むしろ、多くの大企業は倒産までの寿命を少しでも延ばすために、あえて推論品質を低下させているくらいだ。この記事で唯一正しいのは、「LLMに本気で取り組むなら、大手AIは捨ててローカル推論一択にしろ」ってところだね。出力の品質を自分でコントロールする唯一の方法だよ。

脆弱性調査を始めた誰もが、3ヶ月ほど専門的な練習を積むと「脆弱性の悲しみ」みたいなフェーズに突入する。今まで自分の技術じゃ無理だと思っていたようなものをハックできてしまい、それが恐怖に変わるんだ。「自分は相対的に見ればバカだ」と分かっているだけに、「そんなバカでもこれができるなら、世の中に安全なものなんて一つもないじゃないか」と思い知らされる。その感覚は正しいよ。

ローカルモデルの最大の落とし穴は、狂ったようなハードウェア要件だよね。1万ドルかけても平凡なパフォーマンスしか出ないし。

友だちならOllamaなんて使わせないよ https://news.ycombinator.com/item?id=47788385

なんでOllamaなんか使ってるの？llama.cppを使っておけばいいのに。

VSCodeでClaude Code拡張機能を使って（電話ホーム無効設定）、LAN内のMBPro 128GB M5でDwarfStarを動かしているけど、コンテキストの肥大化がひどくて、プリフィル（事前読み込み）に5～10分もかかるんだ。最近はコンテキスト管理のためにheadroomみたいなツールを試していて、一応（定義は曖昧だけど）「成功」と言えそうな結果は出ている。みんな同じような環境でどうやってるの？Claude Codeは試した中では一番優秀なコーディングアシスタントだから手放したくはないんだけど、あのひどいコンテキスト肥大化には本当に参ってるよ。

アテンション（注意機構）こそが鍵だね。