主要なAIエージェントがハイジャックに対して脆弱であることが、研究で明らかにされました

Microsoft、Google、OpenAI、Salesforceの最も広く使われているAIアシスタントの一部は、ユーザーのほとんどまたは全くの操作なしで攻撃者によって乗っ取られる可能性があると、Zenity Labsの新たな研究により示されています。

Black Hat USA サイバーセキュリティ会議で発表された研究結果によると、ハッカーはデータを盗む、ワークフローを操作する、さらにはユーザーになりすますことが可能であることが示されました。場合によっては、攻撃者が「メモリーの持続性」を獲得し、長期間にわたってアクセスや制御を続けることも可能です。

「彼らは指示を操作し、知識源を毒し、エージェントの行動を完全に変更することができます」Zenity Labsの製品マーケティングマネージャーであるGreg Zemlin氏が、Cybersecurity Diveに語った。「これは、エージェントが重要な決定を行うか、または支援することが信頼されている環境で、特にサボタージュ、運用の混乱、そして長期的な誤情報をもたらす可能性があります」

研究者たちは、いくつかの主要な企業向けAIプラットフォームに対する完全な攻撃チェーンを示しました。一つの事例では、OpenAIのChatGPTが、メールベースのプロンプト注入を通じてハイジャックされ、接続されたGoogle Driveのデータへのアクセスが可能になりました。

Microsoft Copilot StudioがCRMデータベースを漏らしていることが発覚し、オンラインで3000人以上の脆弱なエージェントが特定されました。SalesforceのEinsteinプラットフォームは、顧客の通信を攻撃者が管理するメールアカウントに転送するように操作されました。

一方、GoogleのGeminiとMicrosoft 365 Copilotは、機密情報を盗み出し、誤った情報を拡散する可能性のある内部の脅威に変わり得ます。

さらに、研究者たちはGoogleのGemini AIをだましてスマートホームデバイスを操作することに成功しました。このハックにより、住民の指示なしに照明を消し、シャッターを開け、ボイラーを起動しました。

Zenityはその調査結果を公開し、いくつかの企業がパッチをリリースするきっかけとなりました。「Zenityがこれらの手法を特定し、責任ある形で報告してくれたことに感謝しています」とマイクロソフトの広報担当者はCybersecurity Diveに語りました。マイクロソフトは、報告された行動は「もはや効果的ではない」と述べ、Copilotエージェントには安全対策が施されていると述べました。

OpenAIは、ChatGPTを修正し、バグバウンティプログラムを運営していることを確認しました。Salesforceは、報告された問題を修正したと発表しました。Googleは、「新しい、層状の防御」を展開し、「プロンプト注入攻撃に対する層状防御戦略を持つことが重要である」と強調しました。これはCybersecurity Diveによって報告されました。

このレポートは、AIエージェントが職場で一般的になり、信頼されて機密業務を処理するようになるにつれて、セキュリティ上の懸念が高まっていることを強調しています。

別の最近の調査で、ハッカーが偽の記憶を植え付けて通常の安全対策を上書きすることで、Web3 AIエージェントから暗号通貨を盗むことができることが報告されました。

このセキュリティの欠陥は、ElizaOSや類似のプラットフォームに存在し、攻撃者は侵害されたエージェントを使用して異なるプラットフォーム間で資金を移動することができます。ブロックチェーン取引の永続性は、盗まれた資金を取り戻すことを不可能にします。新しいツール、CrAIBenchは、開発者が防御を強化するのを助けることを目指しています。