HN🔥 136
💬 334

【問いかけ】正直、戦慄した瞬間はいつ?生成AIの「ヤバさ」に気づいた分岐点

andrehacker
1日前

ディスカッション (11件)

0
andrehackerOP🔥 136
1日前

DALL-Eやその類が普及し始めた当初、多くの人はその不完全さを笑い飛ばし、明らかな欠陥を指摘して楽しんでいました。その後、ChatGPTが登場した際も、「結局はただの手品のようなもので、大した成果には繋がらないだろう」と高を括っていた人は少なくありません。コーディングにおけるLLMの活用も、最初はコード補完の延長線上に過ぎず、Stack Overflowにお別れを告げる程度の些細なステップだと思われていました。そこで皆さんに質問です。単なる好奇心や冷ややかな視点から、「マズい、これは本物だ…」と少し恐怖を覚えるほどの、圧倒的な実力を思い知らされた具体的な瞬間はいつでしたか?

1
shreddude
約17時間前

語り出したらキリがないんだけど、最近Claudeを使ってキャンピングカーのファームウェアをデコンパイルしたんだ。すべてのCANインターフェースをドキュメント化して、ESP32モジュールをプログラムして、バンの統合システム(電源、HVAC、照明、タンクなど)と通信できるようにしたよ。こういう組み込みシステムの統合は、自分の専門外だから本当に助かった。

AIを否定する人の気持ちが正直わからないな。自分はソリューションアーキテクトとして仕事で毎日使っているし、プライベートでも一人では到底取り組めなかったようなプロジェクトで活用しまくってるよ。

2
andrewthornton
約17時間前

2025年のホリデー期間中に家の暖房が故障しちゃって、修理業者に電話しても2日間は予約が取れなかったんだ。家がすごく冷え込んできたから、屋根裏に上がって暖房が起動しようとしている様子の動画をいくつか撮ってGeminiに読み込ませてみた。そしたら即座に原因を診断してくれて、暖房が着火しようとしている間に特定の部品(小さな排気ファン)を手で回すように指示されたんだ。回したらすぐに火がついたよ。何度か繰り返さなきゃいけなかったけど、HVACのサービスマンが来るまではこれでしのげたんだ。

3
jzemeocala
約16時間前

Alesis QS8.1を中古でかなり安く、完璧な状態で手に入れたんだ(90年代の最高級デジタルピアノ/シンセサイザーの一つだね)。

で、関連するソフトウェアをすべて(閉鎖されたウェブサイトから集めてGitHubにアーカイブしたやつ)調べてみたら、どれも古代の遺物みたいでさ。WINEを使って毎回起動させるのにうんざりしたから、これらの古いソフトでできることを網羅しつつ、現代のPCならできるはずの機能も追加したモダンなクロスプラットフォームのソフトを作ろうと思ったんだ。

PCとシンセ間の通信がほぼSYSEXコマンド経由でしかできなくて、実際の波形エンコードプロトコルも文書化されてなかったから、めちゃくちゃ難しいだろうなと思ってたよ。

でも、ClaudeがGHIDRAで元のソフトウェアを調べる手伝いをしてくれて、その日の夜には動作するデモが完成したんだ……今は新機能を追加して遊んでるところ。

4
kstrauser
約16時間前

仕事柄、大きなトークンバジェットを使えるんだけど、同僚がテストでいくつかのリポジトリの脆弱性スキャンをしていたんだ。人気プロジェクトの中に恐ろしいリモートエクスプロイトを見つけて、意見を求められた。ローカル環境にそのプロジェクトを構築してPOCを実行してみたけど何も起きない。結局、セキュリティ保護を少し下げるような設定変更が必要だったみたい。

そこでAIに経緯を話して、デフォルト設定でも動くようにPOCを修正してくれと頼んだんだ。数分間試行錯誤したあと、AIが楽しげにそのPOCを兵器化したバージョンにパッチしてくれた。実行してみたよ。自分でダウンロードしてコンパイルし、デフォルト設定で起動したばかりのローカル環境が、一瞬でクラッシュした。

冷や汗が出たよ。この手の小説は読んだことがあるし、映画でも見た。マジかよ。核兵器級の情報のコンソールを前にしてカーソルが点滅してるんだぜ。一晩中寝返りを打って、まともに寝られたのは30分くらい。翌日の職場では、まるで幽霊でも見たような顔をしていたはずだ。

プラス面としては、これでチームとして非常に明確な倫理的・道徳的な指針が得られたことかな。やるべきことをやり、発見した事実は関係する著者に共有する。なぜなら、それができるからだ。悪者が問題を見つける前に、善人が問題を修正しようとする世界に住みたいから、その世界を作る手助けをすることにしたんだ。まあ、結局やるべきことはこれなんだなって思ったよ。

5
jp57
約16時間前

今思えばバカみたいに単純なんだけど、去年のいつ頃か、トラックで娘の車を遠方の州まで牽引する方法を考えていたんだ。トレーラーやドーリーの選択肢は何があるか、いくらかかるか、自分のトラックで合計重量を引けるのか、とかね。

最初はChatGPTに対してGoogle検索みたいな感じで、細かくプロンプトを投げていたんだけど、1〜2回繰り返したあとに「メーカーAの車を自分のトラック(モデルB)でC地点からD地点まで牽引したいんだけど、選択肢は何がある?」って投げかけてみたんだ。そうしたら比較表付きのレポートを作ってくれて、牽引重量の計算まで含めて詳細なオプションを提案してくれた。

その時思ったんだ。「あ、これは次元が違うわ。まだ始まったばかりだけどな」ってね。

6
al_borland
約14時間前

便利なツールだってことは否定しないけど、テック企業のCEOたちが12〜18ヶ月でホワイトカラーの仕事をすべて置き換えるなんて大げさなことを言うものだから、期待値が上がりすぎてて、自分はまだ「豪華なオートコンプリート」という立ち位置から動けない。少なくとも自分の職場では、誰も置き換えられる気配なんて全くないよ。便利ではあるけど、約束されたほど役に立ってない。ハルシネーションや不適切なアドバイスは日常茶飯事で、エージェントに何かを任せるなんて絶対に不可能だ。

もし彼らがもっと現実的な約束をして、2年以内に全員を置き換えるなんて枠組みで語らなければ、もっとワクワクしていただろうね。今や彼らの主張は嘘だとバレていて、言い訳を始めている。熱狂の時期は過ぎ去って、ただ「存在するだけの何か」になってしまったよ。

データセンターをめぐる争いも、この技術への意欲を削ぐものになっている。自分の近くの町では、住民投票で反対されたにもかかわらず、企業が建設を強行するために町を訴えているんだ。町にはそんな裁判を戦う余裕なんてないから、住民の意志が強引に踏み潰されている。見ていて本当に気分が悪い。

7
mindcrime
約13時間前

特定の瞬間というわけではないけれど、ChatGPTとやり取りを始めた最初からかなり感銘を受けていたのは確か。それを「AGI(汎用人工知能)」と呼ぶ準備ができていたかって? いや、全く違う。でも、明らかに「何か」新しいもので、直感的に「AIは今日が一番ダメな日で、これから進化するスピードを予測するのは困難だ」ということは明白だった。

使い込めば使い込むほど、彼らを「(ある意味での)知能」と呼ぶのは筋が通っていると確信している。AGIや「人間レベルの知能」か? それはまだ違う。でも「何らかの知能」であることは間違いない。人間の知能とは全く異なる仕組みの「知能」があってもいいと思っているから、「これは『本物の』知能じゃない」なんていう議論には、ほとんど意味を感じないんだよね。この件について「マーキー看板には『人工』知能と書いてある」というタイトルのブログ記事を半分くらい書いたまま放置しているんだけど、完成させる時間がなかなか取れないのが悩みだ。

で、誰かが「AIに書かせればいいじゃん」と言う前に言っておくけど、ナシだね。自分は概ね「AI推進派」や「AI愛好家」を自称しているけど、譲れないラインはある。研究や構成案、ブレインストーミングには使うよ。もちろん。でも、AIに根本的な執筆をさせることには断固反対だ。自分の名前で出すものは、自分自身の本物の声でありたいからね。

8
TheOtherHobbes
約13時間前

特定の瞬間があったわけじゃないけど、コードのデバッグや一般的なエラーメッセージの処理を試し始めた時かな。突然、数時間かかっていた作業が、かなり信頼できるスピード感でポンポンと進むようになった。毎回完璧というわけではないけれど、確実に時間を節約できると実感する機会が増えたんだ。

より具体的な瞬間としては昨日かな。Facebookの適当な投稿でAIが生成したピンク・フロイド風の曲を見つけたんだけど、デヴィッド・ギルモアのソロの雰囲気を完璧に捉えていたんだ。「これには魂がない」なんていう批判が、いかに馬鹿げているかよくわかったよ。

……まあ、正直まだどう感じていいのか確信は持てないけどね。

10
hirako2000
約13時間前

DeepSeekが自分では数分で見つけられなかったバグの修正案を提示してくれた時。

DeepSeekがまた、まあまあの見た目のWebアプリを丸ごと生成した時。

Geminiがようやく、指定した形式のJSONを返せるようになった時。

問題は、LLMができることのすべてが、もし平凡なコーダーが本気でやろうとすれば作れるボイラープレートやコードの域を出ないということだ。こういう能力は称賛されるべきかもしれないけど、効率と引き換えに何を失っているのか。AIを完全に信用することはできないからコードのレビューは必須だし、AIが自分のしでかしたミスを修正させるにしても、コンテキストの制限があるから限界があるんだよね。