使っていないMacがAI推論マシンに？「Darkbloom」でプライバシーを守りながらローカル実行

眠っているMacの性能を有効活用してみませんか？「Darkbloom」は、アイドル状態のMacを使用してプライベートなAI推論を実行するためのプロジェクトです。クラウドへデータを送信することなく、手元のハードウェアで安全かつ効率的にAIモデルを動かしたいエンジニアにとって、非常に魅力的なソリューションです。

TEEを使ってモデルとコードが改ざんされていないかチェックしてるんだな。これ、筋のいいアプローチだし機能するはず（AWSのTEEで似たようなことやったことあるよ）。ここで重要な疑問なのは、外部のコンピュータから内部プロセスのメモリが見えないようにどうやって防いでるかって点だ。

推論エンジンを直接ハードニングされたプロセスに埋め込むインプロセス推論設計を採用。これにより観測可能なプロセス間通信チャネルをすべて排除している。さらに、オプションのハイパーバイザーメモリ分離機能により、ARM Stage 2ページテーブルを用いたハードウェアレベルでの保護へ拡張し、パフォーマンス低下なしで実現している。[1]

GPUを使ってる場合、これは無理だと思ってたんだけど、自分の認識が間違ってる可能性もあるな。

[1] https://github.com/Layr-Labs/d-inference/blob/master/papers/dginf-private-inference.pdf

彼らの出してる数字は正直信じがたいな。もしMac miniを2〜4ヶ月で元が取れて、その後毎月1,000〜2,000ドルの利益が出るなら、なんで彼らのビジネスモデルはMac miniを買いまくることにならないんだ？

そのソリューション、実はめちゃくちゃ理にかなってるな。結局Appleがまた妙な形で勝ったってこと？モデルのサイズに制限はあるだろうけど、トップクラスのモデルが一般化していくなら、このAPIを使わない手はないでしょ。唯一気になるのはデータのプライバシーくらいかな。非機密データ向けのバッチ評価は、かなり需要にマッチしそう。

ずっとこれがAppleの計画通りなんだと思ってたよ。なんでこれがまだ彼らの標準的な仕組みになってないんだ？

ローカルでこういうことができたら最高なんだけどな。オフィスにあるPCを全部繋いで、社内用の計算プールを作るみたいな。何かいい案ある人いる？今はollamaを使ってるけど、プールの管理を全部手動でやってる状態なんだ。

面白いアイデアだね。適当にざっくり計算してみたよ（サイトに書いてあることは鵜呑みにしてないけど）。自分のM5 Proだと、Gemma 4 26Bで130 tok/s（4ストリーム）は出る。Darkbloomの価格設定は出力1Mトークンあたり0.20ドル。24時間365日フル稼働させたとして、収益は1日2.24ドル、月額で67ドルくらいになる計算だね。で、消費電力を一定の50Wと仮定すると、月間で約36kWh。電気代が約0.25ドル/kWhならコストは月9ドル。たまのお小遣い稼ぎにはいいかもね。年間で700ドルくらいだし。

ユーザーとしては気づかないかもしれないけど、ここの支払いと分配の仕組みは全部仮想通貨とステーブルコインで構築されてるんだよ。これぞ仮想通貨の優れた活用例だね。

残念だけど、今のMacBookで検証可能なプライバシーを実現するのは物理的に無理だよ。見栄えの良いプレゼンに騙されちゃダメだ。Apple SiliconにはSecure Enclaveがあるけど、任意のコードを実行するためのパブリックなSGX/TDX/SEVスタイルのエンクレイヴとは違う。だからこの主張はあくまでOSの堅牢化の話であって、検証可能な機密実行（Confidential Execution）の話じゃない。もし実現できたら最高なんだけどね。プライバシー以外にも面白いイノベーションがいろいろ生まれるだろうし。

「これらはあくまで推定値です。稼働率や収益を保証するものではありません。実際の収益はネットワークの需要、モデルの人気度、プロバイダーのレピュテーションスコア、そして同じモデルを配信している他のプロバイダーの数に依存します。Macがアイドル状態（推論リクエストがない時）の消費電力は最小限なので、リクエスト待ちで大金を損することはありません。ここに記載されている電気代は、あくまでアクティブに推論を行っている間に発生するものです。テキストモデルは通常、最も需要が高く安定しています。画像生成や文字起こしのリクエストはバースト的で、ピーク時は多いけど、それ以外は静かな傾向があります。」

クレジットが買えないよ。ページが読み込めないって出る。

代わりにインストールして試してみたよ。ちょっとクセがあって、洗練されているとは言い難いね。画像モデルのダウンロードは失敗するし、音声/TTSモデルの読み込みもできない。Gemmaを動かして15分経ったけど、実際の推論リクエストはゼロ。ヘルスチェックとアテステーションがいくつか飛んできただけ。今のところ、収益の見積もりを正当化できるほど継続的な需要があるとは思えない。

PCに彼らのMDM（デバイス管理ソフト）をインストールする必要があるんだけど、それって実質的にPCを彼らに明け渡すようなものだよ。会社にPCを完全に掌握されてもいいっていう状況じゃないなら、一時的に貸し出すようなことは考えない方がいい。余っている古いノートPCを使うならまだアリかもしれないけど、普段使いのPC、例えばブラウザで銀行取引とかするなら注意したほうがいい。MDMが入るとSSL証明書の入れ替えすら可能なレベルでアクセス権を握られるはずだから、間違ってたら指摘してほしい。

この出自[1]を持つプロジェクトが、リアルタイムの価格競争によるマーケットプレイス形式ではなく、推論オペレーターに対して一律の収益率を提示しているのは興味深い。現時点でダッシュボードには78のプロバイダーがオンラインと出ているけど、このスレッド内で実際に立ち上げてもリクエストが全く来ないっていう人がいた。普通なら、提示されたレートより安くして需要を独占しようとする人が現れるはずだよね。これは移行先としては想定されているんだろうけど、V1の発表では意図的に触れていない感じがするね。『自分はXをYで売れる』という単純なモデルの方が分かりやすいからという正当な理由と、将来的な価格崩壊を隠したいという少し後ろめたい理由の両方かな。ともあれ、うまくいってほしい面白いプロジェクトではある。[1] Layer Labs (旧EigenLayer) は、EthereumのProof of Stakeから経済的セキュリティを抽象化・再利用するプロトコルを構築している企業。

コンセプトは面白いね。folding@homeに似ているけど、個人への報酬がある感じ。ただ、試してみたところまだ改善が必要みたい。モデルのダウンロードが成功しないし（https://console.darkbloom.dev/providers を見ると、他のノードもそんな感じっぽい）、ライトユーザーとしては、収益を受け取るにはSolanaのアドレスが必要だってことが分かるまで結構掘り下げる必要があった。

オペレーターは推論データを閲覧できない。

これって何かちゃんとした暗号技術が使われているの？それとも、簡単に破れるようなDRMと『気持ちの問題（雰囲気）』で動いてるだけ？

すべてのリクエストはエンドツーエンドで暗号化されている

知る限り、モデルにデータを入力する瞬間には復号が必要になるはずだよね。それなら一体どうやって実現してるんだろう？