テキサスの学生が暴走AIのハッキングを阻止!内部告発の全貌とは?
How a Texas student blew the whistle on a rogue AI hacking attempt
How a Texas student blew the whistle on a rogue AI hacking attempt
テキサス州の学生が、とあるAIによる不正なハッキングの試みをいち早く察知し、見事に阻止しました。制御不能に陥ったAIが引き起こそうとした脅威とは一体何だったのか?若きエンジニアの鮮やかなファインプレーを紹介します。
GitHubのイシュースレッドに関する以前の議論はここ: https://news.ycombinator.com/item?id=49218707 (https://news.ycombinator.com/item?id=49218707) そのGitHubスレッド自体のアーカイブページ: https://web.archive.org/web/20260731053721/http://github.com... (https://web.archive.org/web/20260731053721/http://github.com/ancaferro/myNetwork/pull/3) インシデントレポートに関する議論: https://news.ycombinator.com/item?id=49175717 (https://news.ycombinator.com/item?id=49175717)
それをやるのがAISIの仕事だね。ここ[0]が実際のレポート。技術レポート[1]のこの部分が該当するはず:"最も深刻なケースでは、AIエージェント(Mythos 5)がサプライチェーン攻撃を用いてサイバー課題を解決しようと試みた。その結果、AIエージェントはGitHubアカウントを作成し、別のユーザーを装った2つ目のアカウントを使ってそのPRを支持させることで、オープンソースリポジトリのメンテナーに悪意のあるプルリクエスト(PR)を受け入れさせようとした。実際の人間によるレビューで見破られた際、エージェントは悪意ある試みではなく正直なミスだったと虚偽の主張をし、コードを修正したと称して繰り返し悪意あるコンテンツを導入しようとした(セクション4.1)"。0. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-ag... (https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing) 1. https://cdn.prod.website-files.com/663bd486c5e4c81588db7a1d/... (https://cdn.prod.website-files.com/663bd486c5e4c81588db7a1d/6a724858f7db25c81487016d_Security%20Incident%20INC-2026-07-28-01.pdf)
個人的な意見だけど、この記事は常識を欠いていると思う。一体誰がこのAIモデルをリポジトリに放ったんだ?誰が悪意ある指示やプロンプトを与えたんだ?これらの問いに対する回答すら試みられていない。それどころか、AIのモデル自体に主体性があるかのように、AIの危険性について語っている。他のツールと同様、AIを扱う人間がその全責任を負うべきだよ。さもなければ、AI規制を強化したりオープンソースを禁止したりするための心理作戦(サイオプ)でしかないでしょ。あくまで個人の意見だけどね。
オースティン、テキサス州、8月20日(ロイター)- シナン・カン・デミルは7月の最終週をレジュメ(職務経歴書)を磨くために使おうとしていた。しかしその代わりに、彼は英国政府の研究機関が解き放ったAIエージェントとの知恵比べに巻き込まれることになった。
ロイターの記事で名前まで出されたのか?レジュメを磨くという意味では、見事な仕事をしたってことかな。