ブラウザで爆速LLM！WebLLMでローカル推論を完全制覇せよ

WebLLMは、Webブラウザ上でLLM（大規模言語モデル）の推論を高速に実行するための次世代推論エンジンです。サーバーサイドの負荷を気にすることなく、ユーザーのブラウザ環境だけで高度なAIモデルをフル活用できるのが最大の特徴。今すぐ手元のブラウザでLLMを動かしてみましょう。

このプロジェクトは実質的に死んでるよ。長年使ってたけど、6ヶ月前に泣く泣く削除した。時間を無駄にしない方がいい。

デモはここみたいだね：https://chat.webllm.ai/ (https://chat.webllm.ai/) でも、LinuxのFirefoxとChromium両方で「WebGPUNotAvailableError: WebGPU is not supported in your current environment, but it is necessary to run the WebLLM engine.」ってエラーが出て動かないや。

「ケーキを焼いて」ってリクエストしたら、「Error: Cannot initialize runtime because of requested maxStorageBuffersPerShaderStage exceeds limit. requested=10, limit=9.」ってエラーが返ってきたよ。

ちゃんとブラウザで動くWebX技術ってやつだね！

webml-kitが気に入るかもしれないよ https://npm.im/webml-kit (https://npm.im/webml-kit)

このエンジンは結構好きなんだけど、Gemma 2以降アップデートされてないんだよね。最近ならTransformers.jsを使うのがおすすめだよ。

当たり前っちゃ当たり前なんだけど、どこにも書かれてないから言っておくと、モデルの選択次第でブラウザのセッションごとに500MBから1GBくらいダウンロードが発生するよ。だから、WebLLMを一般ユーザー向けのサイトで使うなら、注意書きを加えておくのが無難だね。