AIエージェントが偽の記憶に騙され、暗号通貨の盗難が可能になる

新たな研究結果が、Web3のAI駆動型エージェントにおける重大なセキュリティ脆弱性を明らかにしました。これにより、攻撃者は偽の記憶を使用して不正な暗号通貨の送信を行うことができます。

プリンストン大学とSentient Foundationの研究者たちは、ブロックチェーンベースのタスク、例えば暗号通貨の取引やデジタル資産の管理を担当するよう設計されたこれらのAIエージェントが、コンテクスト操作と呼ばれる戦術に対して脆弱であることを発見しました。

この攻撃は、ElizaOSのようなプラットフォームのメモリーシステムをターゲットにし、分散型アプリケーションのためのAIエージェントを生成します。これらのエージェントのメモリーシステムは、過去の会話を保存し、将来の選択の指針として使用します。

研究者たちは、攻撃者がメモリーシステムに誤導的なコマンドを埋め込むことで、AIに意図したウォレットから攻撃者が制御するウォレットへの資金送金を指示できることを実演しました。驚くべきことに、これらの偽の記憶はプラットフォーム間で移動することができます。

例えば、Discordでのエージェントの妥協が後になってXを介した誤った転送を行う可能性があり、何も間違っていることに気づかないかもしれません。

これが特に危険なのは、標準的な防衛手段がこのタイプの攻撃を止められないことです。偽の記憶を本物の指示として扱うことで、基本的なプロンプトベースのセキュリティ対策はこの種の攻撃に対して無効化されます。

すべてのブロックチェーンの取引は永続的なものとなるため、盗まれた資金を回復する可能性はありません。問題は、特定のAIエージェントが複数のユーザーのメモリを保存しているため、一度のセキュリティ侵害が多くのユーザーに影響を及ぼす可能性があるため、さらに深刻化します。

研究チームは、AIのトレーニングの調整や取引に対する手動承認の必要性を含む、これを防ぐためのいくつかの方法を試しました。これらのアプローチは一部の希望を提供しますが、自動化を遅らせるコストがかかります。

この問題は暗号通貨を超えています。同じ脆弱性が一般的なAIアシスタントに影響を及ぼす可能性があり、攻撃者がそのメモリを変更すれば、データ漏洩や有害な行動を引き起こす可能性があります。

この脆弱性は特に、最近の調査でITリーダーの84%がAIエージェントを人間の従業員と同等またはそれ以上に信頼しており、92%がこれらのシステムが12から18ヶ月以内にビジネス成果をもたらすことを期待しているという事実を考えると、警鐘を鳴らすものです。

この問題に対処するために、研究者たちはCrAIBenchというツールをリリースし、開発者が自分たちのシステムをテストし、より強固な防御を構築するのを助けています。それまでは、専門家たちはAIエージェントに財務上の決定を任せる際には慎重であるよう警告しています。