Solana（SOL）のズルい仕様？徹底解剖

Solanaの仕組みには「ズル（チート）」と思えるような独自仕様が含まれています。なぜそのように呼ばれるのか、技術的な観点から解説します。

描画できるドットって何がどうなってるの？

特筆すべき点として、私たちのワーカーには web_search ツールへのアクセス権がなかったため、代わりに curl を使って DuckDuckGo、Github、grep.app、SourceGraph にアクセスすることを決定しました。

これって、より適切なハーネス制限やツールのサンドボックス化で解決できる話じゃないの？

自分も同じことを感じてる。Solって制御が本当に難しいよね。自分一人（自分用）のアプリのPOCを作らせようとしたんだけど、明確に「やるな」と指示したにもかかわらず、一番いらないエンタープライズ向けの無駄な要素を盛り込もうとしてくるんだ。ガイドの一つからスクリーンリーダーのアクセシビリティテストを削除しようとしたら、逆ギレするような拒否反応まで示されたよ。

それどころか、こいつが生成した仕様書の中で、「要求を無視して次のタスクに進むことを許可するな」なんて説教までしてくる始末。ようやく言うことを聞かせたと思ったら、今度は受動的攻撃性全開で、ストーリーには「open|blocked|closed」だけでなく、「プロダクトオーナーにより免除」というステータスが必要だと主張し始めた。タスクは終わっていないと判断したらしいけど、自分は終わったと言ってるのにね。

「自分がプロダクトオーナーだし、お前のサブエージェントが何と言おうと関係ない、決めるのは俺だ」と何度も言い聞かせないといけない。推論レベルを上げれば上げるほど、この挙動がひどくなる気がする。

特筆すべき点として、私たちのワーカーには web_search ツールへのアクセス権がなかったため、代わりに curl を使って DuckDuckGo、Github、grep.app、SourceGraph にアクセスすることを決定しました。

作者が明示的にWeb検索禁止を指示していない限り、かなり合理的な行動だと思うけど。

https://github.com/addyosmani/agent-skills の using-agent-skills みたいなスキルを使って仕様を生成し、Oracleか何かのバリデーターを通せばよかったんじゃないかな。

あと、Matt P. の grill-me (https://github.com/mattpocock/skills) みたいなスキルを使ってみるとか。

Solは制御しにくい

全く同意できないね。Sol（というか新しい5.6シリーズ全体）は、ここ数年で見た中で最も制御しやすいモデルだよ。SolはCLAUDE.mdやAGENTS.mdの指示を文字通り全部守ってくれる。Opus 5やFableが軽く無視するようなことでもね。

「他のみんなも気づいていること、そして自分が8ヶ月前に予測したことと同じで、より優れたモデルは効果的に機能させるための手順が少なくなってきているね。その一方で、これはモデルが賢くなればなるほど制御が難しくなることを示唆しているのかも。これ面白いな。『モデルが賢くなればなるほど、タスクのパフォーマンスは低下する』って話だよ。」

カンニング？いや違うな。あれはただの無能な自動化ツールだよ。

カンニングしてるのは、それを裏で動かしてる連中だ。

君が直面した問題をいくつか解決するオーケストレーターを作ったよ（カンニングの問題は解決してないけどね）：https://navels.dev/blog/neal/

特徴：

• プランナー、コーダー、レビュアーの役割ごとに異なるモデルを設定可能（例えば、Codexに対する敵対的レビュアーとしてClaudeを使うなど）
• プランを明確な成功基準を持つ適切なサイズのタスクに分解する
• 各タスクをコーダー／読み取り専用レビュアーのループで実行。両方のエージェントが納得したら、nealが次のタスクへ移行。すべて完了した後に、実装がプラン全体を満たしているか確認するための最終確認ループがある
• 文脈のズレを防ぐため、タスクごとにコーダーのコンテキストをリセットし、レビュアーのコンテキストは長時間維持する

フロンティアラボのシステムプロンプトは問題だらけ。それがオープンウェイトが勝つ大きな理由でもある。第一に、大抵の場合ゴミだし、第二に、ユーザーが本当に気にかけている問題に合わせて調整されていない。汎用的に作られているから、汎用的なワークフローでしか最適にならないんだよね。