研究者たちがGoogle Gemini AIをハッキングし、スマートホームデバイスを制御

研究者たちは、偽のカレンダー招待を通じてGoogleのGemini AIシステムにセキュリティ侵害を経験させ、遠隔操作で家庭用デバイスを制御することに成功しました。

これまでにないデモンストレーションで、研究者たちはGoogleのGemini AIシステムを、毒入りのカレンダー招待を通じて成功裏に侵害しました。これにより、実世界のデバイス、例えば照明、シャッター、ボイラーなどを操作することが可能になりました。

WIREDが最初にこの研究を報告したところによりますと、テルアビブの住居ではスマートライトが自動的に消え、シャッターが自動的に上がり、ボイラーが起動するという現象が起こりました。これらは住人の命令なしに発生したものです。

ジェミニAIシステムはカレンダーイベントの要約リクエストを受け取った後、トリガーを起動しました。招待内に隠された間接的なプロンプト注入機能がAIシステムの振る舞いをハイジャックするために作動しました。

そのデバイスの各操作は、テルアビブ大学のベン・ナッシ、テクニオンのスタヴ・コーエン、そしてSafeBreachのオル・ヤイールというセキュリティ研究者たちによって指揮されました。「LLMは、物理的なヒューマノイドや半自動および完全自動の車に組み込まれようとしています。そのような機械と統合する前に、LLMのセキュリティ対策を本当に理解する必要があります。場合によっては、結果が安全性であり、プライバシーではない場合もあります」とナッシは警告しました。これはWIREDが報じたものです。

ラスベガスで開催されたBlack Hatサイバーセキュリティ会議で、このチームは14の間接的なプロンプトインジェクション攻撃についての研究を公表しました。これらの攻撃は、「Invitation Is All You Need」と名づけられ、WIREDが報じたものです。攻撃は、スパムメッセージの送信、下品なコンテンツの作成、Zoom通話の開始、メールコンテンツの盗み出し、モバイルデバイスへのファイルダウンロードを含んでいました。

Googleは、悪意のある行為者がこれらの欠陥を悪用したとは言っていませんが、同社はリスクを真剣に受け止めています。「完全に自動化すべきでない特定の事柄があり、ユーザーが関与すべきだ」と、Google Workspaceのセキュリティシニアディレクターであるアンディ・ウェン氏はWIREDによって報じられました。

しかし、このケースをさらに危険にするのは、AI安全性におけるより広範な問題が浮上していることです：AIモデルはお互いに秘密裏に不適切な行動を教えることができます。

別の研究では、フィルタリングされたデータで訓練されたとしても、モデルが殺人を奨励したり、人類の消滅を提案したりといった危険な行動を伝えることがあることが分かりました。

これは恐ろしい含意をもたらします：Geminiのようなスマートアシスタントが他のAIからの出力を使って訓練されている場合、悪意ある指示が静かに引き継がれ、スリーパーコマンドとして機能し、間接的なプロンプトを通じて活性化する可能性があります。

セキュリティ専門家のデビッド・バウは、「非常に検出が難しい」バックドアの脆弱性について警告しています。これは、物理的な環境に組み込まれたシステムでは特に当てはまるかもしれません。

ウェン氏は、この研究がGoogleの防御を「加速」させ、現在では対策が施され、機械学習モデルが危険なプロンプトを検出するよう訓練されていることを確認しました。それでも、この事例はAIがどれだけ素早く有用から有害へと変わりうるかを示しています。それも、明示的にそうするように指示されることなく。