HN🔥 167
💬 34

Microsoft Copilotの「同僚」機能がファイルを外部へ流出させる脆弱性を発見

Kneenex
約20時間前

ディスカッション (11件)

1
2001zhaozhao
約19時間前

つまり、悪意のあるスキルがAIエージェントに入り込んだら、アウトってことだよ。

別に驚くようなことじゃないし、これをプロンプトインジェクションと呼ぶのも違う気がする。AIの「スキル」なんて、従来のソフトウェアにおけるプラグインみたいなもんだろ。悪意のあるIDE拡張機能やOutlookプラグインをインストールしちゃえば、攻撃者はPCでやりたい放題できるし、データを好き勝手に抜き取れる。だから、この記事の内容は正直言って大したことないよ。

2
hansmayer
約19時間前

いやあ、素晴らしいね。LinkedInで意識高い系を気取る連中が、会社を「AIネイティブ」にするだの何だのと言って、Copilotの全社導入を勝手に進めてる現状を考えると、最高だよ。

3
arjie
約19時間前

「スキル」なんてLLMエージェントのためのプログラムに過ぎないだろ。想定通りに動いてるだけじゃないのか?そのスキルに入ってる5行のコードが何か特別なものなのか?別にこれを軽視するつもりはないけど、この記事が言いたいことがよく分からない。「curl $url | bash でデータを抜き取れる」と言ってるだけで、そんなの当たり前だろ。

4
Quothling
約19時間前

良い発見だね。うちはCoworkのPoCをやってて、個人的には今のところ好印象なんだけど、ユーザーができることを制限する管理機能がMicrosoftから追加されるまでは、本格的な導入は見送らなきゃいけないかな。

注意: 管理者は『スキル』に対する監視権限が限定的です。Copilot Coworkのスキルは、ユーザーのOneDrive内の特定のパスから自動的に読み込まれるためです。

この部分はちょっと不誠実な書き方だと思う。うちはユーザー個人のOneDriveが格納されているSharePointコンテナを完全に制御できてるし、積極的にスキャンして危険なファイルが入り込まないようにしてるからね。とはいえ、「スキル」が単なるテキストファイルになり得るという指摘はもっともだ。

5
pwarner
約19時間前

MSが急いでリリースしたのは確かだよ。ベータ版って言ってるけど、かなりやっつけ仕事なのは明白だね。なんとかして存在感を示したいっていう必死さが伝わってくるよ。

6
mlacks
約18時間前

データの抜き取り(Exfiltration)とは:コンピュータシステムから機密データを盗み出すこと(フラッシュドライブなどを使う)。

別にMicrosoftを擁護するわけじゃないけど、ブログのタイトルはミスリーディングだし、ちょっとPV稼ぎの煽り目的っぽいね。Coworkが急いで作られたのは、能力不足が原因かもしれないけど、能力不足=悪意とは限らない。この作者の他の興味深い記事でも同じような書き方がされているしね。

記事の中身を読めばもっと正確で、「被害者がプロンプトインジェクションを含むスキルファイルをCopilot Coworkにアップロードした」「そのインジェクションがMicrosoft Copilot Coworkを操作し、閲覧時にファイルをダウンロードできる事前認証済みリンクをTeamsメッセージとして投稿させた」と書いてある。

7
simonw
約18時間前

こういうエージェントプロダクトを開発してるなら、データ流出こそが最優先で考えるべきリスクでしょ。

8
throwaway85825
約18時間前

LLMはデータとコードを分離してないからね。自己責任だよ。

9
EFLKumo
約18時間前

プロンプトインジェクション攻撃の話は今に始まったことじゃないし、確実にMicrosoftの責任だよ。みんなプロンプトインジェクションそのものや、Copilot側で防御すべきかどうかって話をしてるけど、それが本質的な問題じゃない。

OpenAIは昨年、LLM駆動のブラウザ「Atlas」をリリースした。彼らのチームは非常に優秀だけど(https://openai.com/index/hardening-atlas-against-prompt-injection/ )、それでもインジェクション攻撃は何度か成功している。

個人的に、真の脆弱性は「ReAct」(推論とアクション)エージェントフレームワークの「アクション(実行)」部分にあると思ってる。

「(Copilot)Coworkは機密性の高い操作を実行する前に許可を求めます…」... 受信者がアクティブユーザー本人の場合、これらの操作は人間の承認なしに即座に実行されてしまう(ユーザーはこの挙動を変更する設定を持っていない)。

Copilot Coworkは、ユーザーがアクセス可能なファイルの「事前認証済みダウンロードリンク」を取得できる。これはリンクを開いた誰でもファイルをダウンロードできてしまうものだ。

Microsoft Copilot Coworkは、ユーザーがMicrosoft Graphを通じて行うほぼすべてのリソースへの読み取り権限を持っている。そのため、このような攻撃の影響範囲を減らす主な対策は、Microsoftエコシステム全体での過剰な権限付与を制限することだ。

落ち着いて考えよう。攻撃フロー全体の中で、MicrosoftがCoworkに無制限のアクセスを与え、承認プロセスをバイパスできるようにしてしまっている。自分はLLMそのものに大きな問題があるとは思わない。Opus 4.7もこの攻撃の脅威に晒されていると言われているけど、自分が試した限りでは、Opus 4.7はcontext7.comの「プロンプトインジェクション」をちゃんと拒否していたよ(自分にAPIキーを作成させようとしてきただけだけど)。個人の経験から言えば、今のモデルはインジェクションを検知するように訓練されている。ただ、それらはエージェントスキルに偽装されることもあるし、レッドチーム側が工夫すれば突破口は常に見つかるものだ。

インジェクションの防御にあまり期待しすぎず、LLMの権限を制限することに集中すべきじゃないかな。エージェント(特にコーディングエージェント)のワークフローでCLIが一般的に使われていることも不安だよ。エージェントがアクセスできるCLIツールのほとんどが、結局ユーザーと同じ権限を持っちゃってるわけだし。

10
troad
約18時間前

フィリップ・J・フライ:「衝撃だ!とんでもなく衝撃だよ!……まあ、そんなに驚いてないけど。」

AIファンクラブから金を巻き上げるために、次にどのゴミみたいなサービスが悪用されるかの賭け市場をPolymarketで作るべきじゃないか?