Mesh LLM：irohを使って分散AIコンピューティングを実現する

irohを活用した分散AI推論「Mesh LLM」の紹介です。中央集権的なサーバーに頼ることなく、ネットワーク上のノード間でAIコンピューティングを分散させる革新的なアプローチについて解説しています。

irohを使えば、専用のハードウェアをいじくり回さなくても分散コンピューティングができるってことか。

自分もそう思ったけど、ネットワーク経由のスループットがかなり遅いんだよね。インタラクティブな用途には使えない。

cocompute.aiなら、もうそれをすごくうまくやってるよ。

パフォーマンス情報が全くないのが気になる。大規模モデルを動かす他の手段（システムRAMを使ったり、ディスクから一部ストリーミングしたりする方法など）と比べても、相当遅いことしか想像できないよ。コンシューマー向けのネットワークなんて、10gbitイーサネットでさえローカルのRAMやディスクと比べたらめちゃくちゃ遅いし。

分割したモデルで1秒間に1トークンとか、それ以下って話かな？

追記：数字を見つけた。モデルリストのQwen 235B A22Bの項目に「MoE 235B/22B、2ノードで16 tok/sの実績あり」とあるね。ノードが何かとかネットワーク接続がどんな環境かは書かれてないけど、まずまずの速度だ。インタラクティブに使うにはちょっと物足りないけど、かなりいい線いってる。

Mesh LLMはノード間のペイロードを暗号化してるのかな？他のユーザーのリクエストが読み取られてしまう可能性はある？