【Show HN】LLMのコストを劇的に削減！AI利用料を最適化するローカルCLIツール「Frugon」を公開しました

今年に入ってからAIをフル活用し始めたのですが、自律的にタスクをこなそうとするあまり、週単位のトークン制限があっという間に尽きてしまう状況に陥りました。コストが倍増するのは避けたいと思い、タスクごとのコストを追跡してみることにしました。その結果、検索やスキャン、単純な情報収集にかなりのコストが割かれていることが判明したのです。

そこで、OpenAI形式のログをローカルで読み込み、コストを分析・比較して、より安価なモデルへ切り替えた場合の削減額を可視化するCLIツール「Frugon」を開発しました。

分析コマンドを実行すると、LiteLLMの価格体系とLMArenaのランクに基づいてオフラインで見積もりを算出します。節約の目安はRouteLLMの調査に基づいています。また、「--measure」でプロンプトとレスポンスを並べて確認し、「--judge」でモデルによる品質比較を直接行うことも可能です。これらの比較呼び出しはユーザーの環境から直接モデルプロバイダーへ送信されるため、仲介者は介在せず安全です。

複雑になりすぎないよう、コスト可視化、品質評価、ルーティング提案という3つの機能に絞った軽量ツールです。ローカル環境で完結し、データが外部エンドポイントを通ることもありません。ソースコードから安全性を確認いただけます。

デモ環境では、56,000件のコールログ（約1ヶ月分）を使って、コストを549.46ドルから343.91ドルへ、約37.4%削減できる例を示しています。

試用コマンド：

uvx frugon analyze --demo

インストール：

uv tool install frugon

ぜひご自身のログで試してみてください。ルーティングや品質ロジックに関するフィードバックも大歓迎です！