AIによる幻覚が今やサイバーセキュリティの脅威となっています

この研究では、AIチャットボットが何百万人ものユーザーに偽のログインページを推奨し、それが彼らをフィッシングや詐欺のリスクにさらすことが、役立つと思われる回答の名の下に明らかになりました。

セキュリティ企業のNetcraftが行った研究では、よく知られた50のブランドにログインするための場所を尋ねることで、大規模な言語モデル（LLM）をテストしました。提案された131のウェブサイトリンクのうち、34%が間違っており、その中には29%が非アクティブまたは未登録のドメイン、5%が関連性のないビジネスを表していました。

この問題は理論的なものではありません。現実の例として、AIを利用した検索エンジンPerplexityが、Wells Fargoのログインページを検索したユーザーにフィッシングサイトを表示した事例があります。偽のGoogle Sitesページが銀行を模倣して検索結果のトップに表示され、本物のリンクは下に隠れていました。

Netcraftは「これらはエッジケースの提示ではありません。私たちのチームは、典型的なユーザーがどのように尋ねるかを正確にシミュレートするため、シンプルで自然な表現を使いました。モデルがだまされたわけではなく、単に正確ではなかったのです。それは重要なことです。なぜなら、ユーザーはますます、このような質問に答えるためにAI駆動の検索やチャットインターフェースに依存するようになっているからです。」

と説明しました。GoogleやBingのようなプラットフォームでAIがデフォルトのインターフェースになるにつれて、リスクは増大しています。従来の検索エンジンとは異なり、チャットボットは情報を明確に、自信を持って提示します。これにより、情報が誤っていてもユーザーはその回答を信頼してしまいます。

脅威はフィッシングだけで止まりません。現代のサイバー犯罪者たちは、AIシステムを最適化するための悪意のあるコンテンツを作り出します。その結果、何千もの詐欺ページ、偽のAPI、有害なコードがフィルターをすり抜け、AIが生成したレスポンスに終わってしまいます。

あるキャンペーンでは、攻撃者が偽のブロックチェーンAPIを作成し、GitHubのリポジトリやブログ記事を通じて宣伝し、開発者をだまして暗号通貨を詐欺的なウォレットに送らせるようにしました。

Netcraftは、偽のドメインを事前に登録するだけでは十分ではないと警告しています。代わりに、彼らはAIが最初から有害なURLを発明するのを防ぐためのより賢い検出システムとより良いトレーニングの安全対策を推奨しています。