たった8ドルのマイコンで2890万パラメータのLLMを動かす驚異のハック

わずか8ドルの格安マイクロコントローラ上で、2890万パラメータ規模のLLM（大規模言語モデル）を動作させるという衝撃的なプロジェクトです。リソース制限の厳しい組み込み環境における推論の可能性を押し広げる、エンジニア必見の内容となっています。

9.7トークン/秒って、実はかなり速いな！面白そう！

すごくクールなプロジェクトだね。共有してくれてありがとう！

レイヤーごとの埋め込みトリックを使うなんて、すごく賢いやり方だね。2000万〜3000万パラメータくらいの現実的なTTSモデルもあるし、ESP32単体でネットワーク接続なしでも、ほぼリアルタイムで読み上げができるようになるかもね！

なぜこの方法だと、フラッシュメモリをバックエンドにしたCPUで、アクセスパターンを工夫してさらに巨大なモデルを動かすようにスケールさせられないの？