Hacker Newsが選ぶ「AIが到達した課題」をみんなで投票しよう！

Hacker Newsで過去に挙げられたAIの課題リストの中で、現時点で「これって既に達成されてない？」と思うものについて意見を出し合いましょう。どのプロジェクトや技術がマイルストーンを突破したのか、皆さんの見解を教えてください。

自分の予測の一つが完全に外れていて嬉しいよ: https://news.ycombinator.com/item?id=23252711 確かに、LLMが作るものはまだ「効率的でバグのないコード」とは言えない。私の予測が外れた理由は、LLMが機械学習で新しいモデルを作成・訓練できる一方で、機械学習そのものが、今回のように任意の新しいタスクを投げつけられるほど根本的に高度ではないからだ。

この予測のうち少なくとも3分の1は、一体何を主張・予測しているのかが明確じゃない。コメントを全部何度も読んだ後でも、多くのものについて、著者が成功の基準をどこに設定しているのか判断できず、達成したかどうかの判定すら難しい。

興味深いのは、2016年頃の人たちは「チューリングテストに合格する」「コードを書く」「コーヒーを注文する」といったことを話題にしていたこと。2024年の今でもテーマは似ているけれど、コーディングやチューリングテストに関する要求は全体的により複雑かつ具体的になっている。でも2026年には大きなシフトが起きているね。「物理的なドアを開けられる」「人間らしい意地の悪さを説得力を持って模倣できる」「新しい科学的ブレイクスルーを生み出す」といった内容になっている。これだけでも色々と物語っていると思うよ。

へえ、僕のもあるね: https://stoppels.ch/goalposts/?c=39727943 「GPT-4がWebからコピーしたのではないオリジナルの足のASCIIアートを見て、それが足だと回答する」というもの。現在の投票はYes 64%、No 18%だね。ちょうど今、Opus 5.5に足のASCIIアートを描かせてみたんだけど、そこそこの出来だったよ。すごいとは言えないけど、確かに足に見える。それをChatGPT（無料版のデフォルト、多分5.6 Luna）に貼り付けたら、「列車か機関車」だと判定されたよ: https://chatgpt.com/share/6abeaa39-cc80-83ed-851f-29370db08964 Opusの絵が下手だったせいかもしれないけど、LLMは（追加のツール呼び出しなしでは）まだASCIIアートはかなり苦手だと言っていいだろうね。

なぜこのスレッドがフラグ付けされたのかわからないな？面白いのに。議論が分かれている順に並び替えられる機能を追加できないかな？みんながどこで一番YesとNoで意見を違えているのか知りたい。

その中に僕の予測もあるよ。2023年の時点で、AIがプロンプトから任意のアプリケーションを完全に構築してデプロイできるようになるまで20年はかかると予測していたんだ。……18年も外してたよ！

これらの質問は、何に投票しているのかを明確にするために書き直した方が良さそうだな。

僕が考えるテストは、AIエージェントがHNのカルマを常に増やしながら、検出やBANされることなく、様々な長さのコメントを投稿し続けることかな。あれ、ちょっと待って……

投票結果を見る限り、みんなまだLLMの能力について自分を誤魔化しているんじゃないかと思えてくる。すごいことをやっているのか？イエスだ。でも、コーディングが究極かつ最も難しい仕事だと思われていて、それができれば何でもできるはずだと思い込まれている気がする。僕自身の経験では、LLMは相変わらずデタラメなことを平気で言い出すし、裏付けにならないナンセンスなソースを提示してくる。まあ、コーディングのように20年分のテキストデータが吸収されているトピックならそれなりに正解を出せるかもしれないけど、マイナーな分野はどうかな？完全に運任せだ。今日ちょうどプラチナ硬化シリコーンが石膏で阻害されるかどうか知りたかったんだけど、最初の20件の検索結果は中身のないAIスパム記事ばかりで全く当てにならないから、AIに直接聞いてみたんだ。最初は硫黄とカルシウムが反応を阻害すると言う（石膏にはそれらが含まれているから困る）。次に、Xというソースによれば問題ないと言う。ソースを確認しても、どれも石膏でのシリコーン硬化とは全く無関係な、シリコーン型で石膏を鋳造する方法についての記事ばかり。失敗だね。結局、実際にやっている人のYouTube動画を探すしかなかった。農業、建設、機械といった自分が経験豊富な分野でも、同じように酷い、時には壊滅的な回答を見かけるよ。40年代以前の非常に単純な機械を動かそうとするのでない限り、機械関連では全く使い物にならない。古い焼き玉エンジンに対して「キャブレターを掃除しろ」なんて言ってくるレベルだしね。