ローカルLLMが勝手に進化？自律最適化エージェント「autoswarm」でAIを育てる

ベンチマーク（TerminalBench）のランキング上位を目指して、自律的に最適化を行うエージェントパイプラインを実験していました。10タスクのサブセットで試したところ、パフォーマンスが約30%から約90%まで向上したのです。この仕組みがうまく機能したので、「ベンチマークだけでなく、普段のチャットでもこの『振り返りと書き換え』のプロセスを継続的に回せないか？」と考えました。

仕組み

• ローカルLLMとのやり取りはすべて小さなプロキシを経由してログに記録されます。
• autoswarm reflect コマンドを実行すると、モデル自身がそのログをレビューし、具体的な教訓を抽出して skills.yaml に書き込みます。
• 抽出された教訓は、次回のチャットからシステムプロンプトへ自動的に注入されます。

実行方法（LM Studioの場合）

1. LM Studioのローカルサーバーを起動し、モデルをロードします。
2. 以下のコマンドを実行してください。

pip install -e .
autoswarm doctor    # LM Studioに接続できるか確認
autoswarm start     # 上流モデルを自動検出し、8080ポートで待機

自己最適化エージェントという考え方には非常に可能性を感じており、もっと大きな発見があるはずだと確信しています。まだ趣味レベルの実験的なプロジェクトですが、ぜひ皆さんのフィードバックをいただけると嬉しいです！

リンク: https://github.com/arteemg/autoswarm

現在も開発を続けていますので、興味を持っていただけたらぜひリポジトリのスターをお願いします！

このアイデアとUI、かなりいいね！後で見てみる。ちなみにリポジトリの改善には、監視なしでこのスキル を使うのがかなり役立つよ。開発中の注意書きはあるけど、とりあえずスターを付けてチェックさせてもらうね！

面白いアイデアだね！この文脈でもう少し改良できそうな点があるかも。すべてのスキルがグローバルに適切とは限らないよね。リフレクションの結果をグローバルスキルにするか、プロジェクト単位のスコープにするか、あるいはagents.mdの変更、ツール、MCPサーバーなどに応用できるようにすれば、汎用性が高まってより良い結果が得られるんじゃないかな。個人的な意見だけど、既存のセッションを振り返って長期的なメリットを抽出するような「スキルそれ自体」としてうまく機能するのかも気になる。自分のpi agent環境でも何か試してみるよ。ありがとう！

Qwen 35bや27bみたいなモデルを複数インスタンス動かすには、どんなハードウェアを使ってるの？あと、単一エージェントに必要な最小限のコンテキストサイズはどれくらい？

クールなアイデアだけど、「学んだ教訓を将来のチャットのシステムプロンプトに自動注入する」っていう仕組みは、今後のコンテキストを圧迫しそうな気がする。

このアイデアの実装は何度か見たことあるけど、どれも最終的にはコンテキストウィンドウを使いすぎてしまうっていう同じ問題に悩まされることになるんだよね。

いい仕事だね、クールなアイデアだと思う。

ログからスキルを抽出するのは面白いけど、教訓が永続化される前にレビューや有効期限の設定がほしいかな。自己改善って、下手すると悪い習慣をすぐに定着させちゃうから。

llama.cppサーバーはデフォルトで8080ポートを使うけど、他にも同じポートを使うソフトは山ほどあるよ。別のデフォルトポートを選んで、8080でモデルが提供されていないか確認するようにしたほうがいいかも。

スコアリングの部分をどう実装してるか分からないけど、ローカルの小規模なLLMは位置的なバイアスが強い（最初の方の回答を高く評価しがちなど）ことが多いんだよね。なので、順序をランダム化したり、最低でも4つの選択肢を与えたり、複数回実行したりして「真の」スコアリングを得るようにする必要があるよ。

ついでに、みんなが普段どうやってローカルLLMを動かしてるかも知りたい！使ってるツール（Ollama、LM Studioとか）や、どんなモードで使ってるか（LM StudioならGUIのままか、サーバーを立てるかとか）気になってる。次に何をサポートすべきか優先順位を決めるためにユースケースを集めてるんだ。よろしく！🙌

Hermes agentで動くかな？オーバーヘッドはどれくらい？

このUI最高じゃん（笑）