AI時代のサイバー攻撃と未来の「信頼」

AIは病気の治療法を設計できる一方で、病原体も設計でき、声を数秒で複製し、家族からのビデオ通話さえ偽装できる。今回のPodcastでは、市場がAIで盛り上がる今、サイバー犯罪の自動化によって揺らぐ「デジタルの信頼」をどう取り戻すかという視点から、AIのダウンサイドとその先にある希望を考えます。

ゲストは、Google最初期からサイバー戦の最前線に立ってきたシューマン・ゴーシュマジュムダー氏。Gmailの立ち上げに携わり、Googleのクリック詐欺対策責任者としてトラスト＆セーフティ製品部門を創設。その後シェイプ・セキュリティを創業して世界有数の銀行や航空会社を守り、現在はRekenを率いて、端末上で動くサイバー防御の開発に取り組んでいます。

ゴーシュマジュムダー氏は、「怠惰だが賢い」存在であるサイバー犯罪者によって、大規模言語モデルが犯罪の「自動化のラストワンマイル」を埋めつつあると指摘します。そのうえで、コミュニケーションの相手やその内容が本物かどうかを信頼することが難しくなってしまう世の中にならないよう、氏が開発を進める、メールやビデオ通話の相手が本物の人間かを端末上でリアルタイムに検証する防御の仕組みを説明するとともに、新しい時代の信頼の在り方について深堀します。

その他、Podcastの中で触れているポイントは以下のとおりです。

• AIによる声や訛りの模倣、相手ごとの台本の作り分けで、従来はコールセンターに頼っていた詐欺が自動化され、犯罪者は正規の企業以上に速くAIを取り入れている。
• クラウド型の防御では返答に数秒かかり、個人データを第三者に預けるプライバシー上の責任も生じるため、防御は端末上で動かす必要がある。
• 賢い牛が1頭、門の掛け金を外せばどの牛も通り抜けられる「スマートカウ問題」のように、高度な攻撃手法や脱獄の手口は公開されると誰でも使えるようになる。
• 特定のAIモデルを規制しても、犯罪者は制約のない別モデルで95%の性能を得られ、脆弱性の発見から悪用までの周期は縮み続けている。
• フィッシング訓練は統計的に効果を生んでおらず、最後の防衛線を人間から、危険を警告し理由を示す技術へ移すべきだとする。
• AIの価値は依然未知数であり、LLMの性能向上は頭打ちに近づいている。多くの用途では高価な最先端モデルの投資対効果が見合わないとする。
• 社会はAIの問題を起きる前に語り合えており、小さな事故から学んで大きな惨事を避けられるとして、自らを楽観論者と位置づける。