AIエージェントのトークン消費を98%削減!爆速コード検索ツール「Semble」をOSS公開しました
みなさん、こんにちは!StephanとThomasです。この度、私たちが開発した「Semble」をオープンソースとして公開しました。普段Claude Codeを使って大規模なコードベースを扱う際、「エージェントが欲しいコードを見つけられず、grepに頼って全ファイルを読み込んだり、サブエージェントを立ち上げたりしてトークンを激しく消費する」という問題に悩まされてきました。既存のツールはインデックス作成が遅かったり、APIキーが必要だったりと、決定打に欠けていたのが現状です。そこで解決策として作ったのがSembleです。静的Model2Vec埋め込み(最新モデル potion-code-16M を使用)とBM25を組み合わせ、RRF(Reciprocal Rank Fusion)で統合し、コード特有のシグナルでリランクする仕組みを採用しました。Transformerを使わずすべてCPU上で動作するのが特徴です。19言語・63のリポジトリ・約1250のクエリペアによるベンチマークでは、grep+readと比較してトークン消費を98%削減。137MパラメータのTransformerモデルと同等の検索精度(99%)を維持しつつ、約200倍の高速化を実現しました。主な特徴は以下の通りです。・圧倒的なトークン効率:grep+read比で98%削減。・爆速インデックス:一般的なリポジトリなら約250msで完了、クエリごとのレスポンスもCPUで約1.5ms。・高精度:NDCG@10で0.854を達成。・MCPサーバー対応:Claude Code、Cursor、Codex、OpenCodeでドロップイン利用可能。・ゼロコンフィグ:APIキーもGPUも不要、外部サービスへの依存もなし。Claude Codeへのインストールはこちらのコマンドから:claude mcp add semble -s user -- uvx --from "semble[mcp]" semble。詳細な手順やベンチマークの結果、手法についてはGitHubのREADMEをご覧ください。Semble: https://github.com/MinishLab/semble。ベンチマーク: https://github.com/MinishLab/semble/tree/main/benchmarks。モデル詳細: https://huggingface.co/minishlab/potion-code-16M。ぜひフィードバックや質問をいただけると嬉しいです!