【新着】DeepSeek V3も格安で！GPUノードを皆でシェアしてLLMを動かす「sllm」登場

DeepSeek V3 (685B) のような巨大モデルを動かすには、8基のH100 GPUが必要で、月額約14,000ドルものコストがかかります。しかし、多くの開発者にとって必要なのはせいぜい15〜25 tok/s程度の推論速度ではないでしょうか。そこで登場したのが「sllm」です。これは、専用のGPUノードを複数の開発者でシェアできるサービスです。カードで予約枠を確保し、コホート（利用グループ）が満員になって初めて課金が開始される仕組みです。小規模モデルであれば月額5ドルから利用可能。LLMのプライバシーは完全に保護されており、通信ログも一切保存されません。APIはOpenAI互換（vLLMを採用）なので、ベースURLを書き換えるだけで簡単に導入できます。現在、主要なモデルをいくつか提供中です。