HN186291
LLMの真の実力、知ってる？「エンジニア」と「非エンジニア」の理解の溝が深まりすぎている件
The gap in shared understanding of LLM capability is widening
albertzeyer・約22時間前
議論
11件最近、LLM（大規模言語モデル）の能力に対する認識のズレが、かつてないほど深刻になっています。技術者側が「何ができて、何ができないのか」を正確に把握しようとする一方で、現場や経営層との間には深い溝が生まれており、この認識のギャップがプロジェクトの成功を阻害する大きな要因となっています。技術の進化スピードがあまりに速すぎる今、私たちはこの理解の断絶をどう埋めていくべきなのでしょうか。
別のメカニズムを提案するよ。無料版のモデルですら、ほとんどの人が実感できる限界値に完全に達してしまっているんじゃないかな。
何度でも言わせてもらうけど、オタク連中（ソフト開発や数学など）は、自分たちが関心のある分野でLLMがどれだけ優秀かを見て、それを将来あらゆる分野に適用できると決めつけているんだ。でも、そう考える根拠なんてどこにもないよ。
上位1%は突き進んでいるけど、問題はどこに向かっているかだよね？実用的で経済的、つまり「現実世界」での利点がある分野である必要がある。ロボティクスとか、経済効率の劇的な向上とか、製造技術の革新とかね。心配なのは、その1%が非現実的な金の無駄遣いに吸い寄せられていること。例えば、ただの遊びでトークンを消費したり、NVIDIAに金を払う以外に何の価値も生まない複雑なソフトウェアシステムを作ったりすることさ。
AIによって生活が改善されていない、むしろ一般人の視点からすれば悪化していることさえあるっていうのは、本当に悲しいよ。車は相変わらずだし、食洗機も同じ。通勤の電車は相変わらず時間通りに来ないし、燃料代は上がった。道路は混雑したままで、子供の成績は（たぶん）落ちていて、食費や家賃は高い。PCやPS5を買うのにも金がかかる。政治は精神的に不安定な奴らばかりで、環境は悪化の一途。死因は相変わらず心臓病やがんのままで、食べ物の質は落ちて、子供たちは仕事も見つけられない。富の不平等も加速する一方だ。
でもまあ、その一方で……多くの人が（誰も使わない）ソフトウェアを爆速で開発していて、AIは（数学者を含めて）誰も解いてほしくなかった数学の問題を解いてくれているわけだ。
「データセンターの中の天才集団」が何ができるか想像してみてよ？どうやら……何一つできないみたいだね。
「以前は何週間、何ヶ月もかかった複雑なプロジェクトが、今やプロンプト一つでエージェントがこなせるようになった」という意見に、0.2%のトップ層が本当に同意しているとは思えないな。
分断があるとしたら、保守や将来のトークンコスト、最適化、コードの劣化、そしてLLMが犯す思い込みやミスを警戒してコードベースを理解しておく必要があると考える側と、コードのレビューもせずにAIがミスなんてするはずがない、そしてAIは永遠にタダ同然で使えると信じている側との間だね。
後者が爆速で動けているのは確かだけど、もし何かを壊してしまった時、クライアントは満足するだろうか？まあ、すぐにわかることさ。
2015年：タクシー問題を解決すれば世界は一変する
2020年：通貨を解決すれば世界は一変する
2021年：小さな荷物を30分以内に配達できれば世界は一変する
2022年：JPEGを売る仕組みが解決すれば世界は一変する
2024年：ソフトウェアエンジニアのプログラミング作業を解決すれば世界は一変する
コンピュータがあるXをできるからといって、人間がXをやる時に期待されるすべてをコンピュータもできるはずだと考えるのは、いつだって間違いなんだ。
最先端の数学の問題を解くのは驚異的だけど、それはLLMのすごさというより、その数学の問題自体の性質によるものかもしれない。何十年も前に解決されたチェスと同じだよ。
自分の経験から言うと、LLMは便利ではあるけど「知能」、つまり経験から素早く学び、タスクの達成に合わせて一緒に成長する能力という点では期待外れだ。AIを「生き物」のように考えるのは、そろそろやめるべきだね。
一般の人たちに、このモデルで一体何を「して」ほしいんだ？エージェント的なLLMに何の用事もなければ、当然、その機能にも興味なんて湧かないでしょ。
この技術に関する情報を広めるメリットはわかるけど、まだ初期段階だ。インターネットが普及し始めた時だって、みんなが使っていたわけじゃないしね。
おじいちゃんやおばあちゃんには自分たちのやり方があるし、やっとスマホに慣れたところなんだ。AIが古い写真を整理してくれるとか、PCを「掃除」してくれるなんて機能があったとしても、たった5分短縮できることなんて、彼らにとっては重要じゃないのさ。
プロの仕事については、まあ今後数年で企業がこれらのツールを取り入れるのは間違いない。自分の界隈では「当たり前」になりつつあるけど、そうじゃない仕事だって山ほどある。テクノロジーにどっぷり浸かっている層とそうじゃない層の大きな溝は、昔からずっと存在しているんだよ。
能力を発揮できる時とできない時の不一致が激しすぎて、状況をさらに悪くしていると思う。