HN18372
たった4GBのGPUで70BクラスのLLMを動かす！AirLLM活用ガイド
AirLLM 70B inference with single 4GB GPU
Anon84・1日前
議論
11件本来であれば巨大なVRAMを必要とする70BパラメーターのLLMを、わずか4GBのVRAMを搭載したGPUで推論させるための手法「AirLLM」についてのトピックです。限られたリソース環境で最新のAIモデルを動かしたいエンジニアにとって注目の技術です。
これが何をもたらすのか、まだ少しよく分かっていないんだよね。
仮にフルサイズのオープンウェイトモデルを動かしたいとするだろ。俺は128GBメモリのM3 MaxのノートPCを持ってる。
これって要するに、層（レイヤー）を必要に応じてロードしたりアンロードしたりする感じ？つまりモデル全体をディスクにダウンロードする必要はあるけど、RAMの要求量は大幅に下がるってこと？READMEにはHuggingFaceへの接続が必要って書いてあるから、もしかしてモデル全体をダウンロードしなくてもいいのかな？
「どれくらい遅いの？」って気になってる人向けの情報。
理解が正しければ、RTX 6000 Ada（48GB）でKimi K3を動かすと292秒/トークンかかるみたいだね。
最近「1GBのRAMで1TBのモデルを動かす」系のプロジェクトをよく見かけるけど、どれも雰囲気だけで作られてそうで、メンテナンスされることはなさそう。
ちゃんと勢いがあって、この分野を牽引してくれる決定版が登場してほしいね。
用途としては、「少し古くなったMacやPCが手元にたくさんあって、それを使って説得力のあるスパムメールを生成したいけど、たとえ生成に丸1週間かかっても問題ない」みたいなケースを想定してるのかな？
このプロジェクトがどこまで続くか見ものだね。こういう効率化は本当に必要とされてるし。次はLLMの学習の効率化がどうなるかだね。
4GBのGPUで70Bのモデルを動かすなんてヤバいね。リソース制限がある環境でこれを実現するのは、本当に素晴らしいエンジニアリングだよ。
Claude Codeの回答と同じくらいの速度（あちらも結構遅いけどね）で動かすには、家でどんなデバイスを用意すればいいし、いくらかかるの？
メモリ不足（RAMpocalypse）の影響で、みんなが限界までパフォーマンスを絞り出そうとしてるのが面白いね。これを機に、より少ないリソースで同等のことが行えるようなモデルアーキテクチャの再考につながるといいんだけど。
十分な時間さえ待てば、どんな巨大なフロンティアモデルだって自分のPCで動かせるってことだね……。
小規模なメモリ環境で巨大モデルを動かすプロジェクトをたくさん見てきたけど、どれも大規模な量子化やエキスパートのストリーミングを行っている感じだね。でも、unslothで量子化したモデルをllama.cppで適切なフラグ（-cmoeや-mmapなど）を使ってVRAMとRAMとSSDを管理しながら動かすのと比べて、これらのプロジェクトにはどんなメリットがあるんだろう？