ついに「小規模モデル」の時代が到来！今こそLLMを賢く使いこなそう

巨大なLLMだけが全てではない時代になりました。推論コストが低く、効率的に動作するスモールモデルが台頭しており、実務環境での活用が一気に現実味を帯びてきています。特定のタスクに最適化された軽量なAIを活用する準備はできていますか？

明らかに最適化できる余地はたくさんあるけど、WSJやThe Economist並みの料金を取るなら、それに見合う価値を提供してもらわないと困るよね。

いやはや、ここ5年くらいのThe Economistを読むより、ペンキが乾くのを眺めてるほうがまだ有意義だったよ。

それはさておき、Lunaはなかなか良かった。TPS（1秒あたりのトークン数）じゃなくて、レスポンスタイム、コスト、そして一般的なモデルのパフォーマンスを異なる設定で比較した話が聞きたいな。そのチャートには一部載ってるけど、例えばLuna MaxはTerra Mediumよりコスパがいいのかどうか、とかね。

フロンティアモデルを追いかけるのに夢中になってる連中が、小規模モデルがほとんどのタスクで「十分使える」レベルになってることにようやく気づき始めたのが面白くてたまらないよ。寓話級の予算なんてない俺たちは、だいぶ前から気づいてたけどね。

「高速・低コスト・そこそこ高性能」なモデルへの需要がこれから爆発するっていうのは、本当にそう思う。

2024年の初め頃に、Guidanceっていうライブラリ（最初はMSから出てたやつ）を使って7Bのローカルモデルを動かしたとき、ある種の「啓示」みたいなものを受けたんだ。モデルにテスト用の擬似コードを渡して、まずはテストを書かせて、承認したらテストが通るまでコードを書かせるっていうフローを作ったんだけど、これは「思考」モデルが出てくる前の話。それでもライブラリを使って、必要な「プロンプト/命令」のコンテキストへモデルを導くことで、まさに今の思考トレースで見られるような「あ、テストxが通らないのはなぜなら…だから、こうする必要があるな」といった挙動を実現できていたんだ。

とにかく、その時の啓示は「たとえモデルがこれ以上進化しなくても、この技術をどう活用できるかを探求するだけで何年も遊べるぞ」っていうものだった。もちろん、それからモデルは大きく進化したけど、その啓示は今でも一種の「真理」として通用すると思う。今、僕たちは10～20年前なら魔法だと思われたものにアクセスできている。ガムテープや祈りにも近いやり方でシステムを継ぎ接ぎして、新しい可能性を見つけ続けてるんだよね。

「そこそこ使える」ステージはAPIモデル（安くて速いなど）だけでなく、ローカルでも到来していると思う。遅かったり洗練されてなかったりしても、増え続けるタスクをこなすには十分だし、何よりそれをいじくり回すのはめちゃくちゃ楽しい。

ピーターが自身のスタートアップを通して見てきた仕事のタイプは2つあるって話だね。

1. 「IQ180」の仕事：天才肌のマッドサイエンティストが、誰も思いつかないようなクレイジーな解決策を編み出す。
2. 「トークン噴射機」の仕事：超レスポンス重視で、何十もの異なるフロントでボールを前に進め続ける。

ポール・グレアムの「Maker's Schedule, Manager's Schedule」（https://www.paulgraham.com/makersschedule.html ）との比較は面白い。モデルがこれらの役割のうちどれを埋めるのか、そして自分たちが好むモードにいられるよう、どうモデルが力になってくれるのか興味があるよ。

いわゆる「下方への余地（room at the bottom）」戦略が見られるようになるっていうのは理にかなってる。今のところ、大規模なパラメータ数は世界の知識や言語スキル（言語のニュアンスやオープンな語彙は高次元だから）、そして推論のプリミティブを詰め込むための貯金箱みたいになってるけど、一般的には推論がモデル内で占める場所は最も小さいと考えられてるからね。

世界の知識が不要、あるいはむしろ邪魔になるようなアプリケーションもたくさんある。そういう場所では、言語スキルは少しで済むし、大規模モデルをそのまま使うより、小規模モデルを賢く使った方が勝てるって期待できる。

今後5～10年、AIチップの超高速化とRAM容量の増大によって、今のATMELのマイクロプロセッサみたいにシングルボードコンピュータに収まるチップで小規模モデルをローカルで動かせるようになる未来には、期待と警戒が入り混じった気分だよ。そうなれば全てのガジェットがローカルAIを搭載して、真に知的なホームが実現できるかもしれない。もちろん、クラウド側に全てを押し込もうとする強い圧力がかかるだろうけど、AIホームオートメーションのための24時間365日の監視を受け入れるなんて想像しがたいし、この技術を家庭のものにするチャンスはあるんじゃないかな（まあ、僕の楽観的すぎる見方かもしれないけど）。刺激的な時代だよね。

今日、仕事仲間（開発現場）で、コスト削減のためにSolからLunaへ「ダウングレード」する議論になったらしいんだ。多くのメンバーは、質の劣る技術を強制されるのは嫌だと不満を抱いていたんだけど、彼らの言い分は妥当なのかな？Solは追加コストに見合う価値があるのか、特に努力のレベルを上げた場合にはどうなんだろう？

あなたの評価には概ね同意するよ。ローカルだけでなく、安価で軽量なフレームワークでモデルを動かすことが次のフェーズを牽引するだろうね。

宣伝するつもりはないんだけど、他に思いつかなかったから…。数日前に小規模モデルとエッジデバイスのメモリ使用量についての記事を書いたんだ（https://polign.com/blog-edge-agent-memory ）。こっち（https://news.ycombinator.com/item?id=49450816 ）も同じ問題について触れてるよ。

Luna Maxは、自分がやりたいコード修正の90％くらいには十分対応できるよ。SolやFableクラスのモデルに手を出すのは、問題が非常に複雑なときだけだ。ガードレールを構築して少し余分に計画を立てる手間を惜しまなければ、Lunaはかなり有能だよ。

パレートフロンティアや関連ベンチマークに関してだけど、OpusがFableと同等の知能があるなんて主張を真に受けるのは難しいな。ベンチマーク用に最適化（ベンチマック）されたものじゃなくて、実際の使用感をより正確に反映したベンチマークってどこかにないかな？