‘复制粘贴’攻击揭示提示注入如何大规模感染人工智能

黑客如今仅需使用一个暗藏陷阱的许可证文件，就能将AI编程助手武器化，使开发者工具成为恶意代码的无声传播者。网络安全公司HiddenLayer最新发布的研究报告揭示了这一现象，该报告展示了如何诱使AI将恶意软件盲目复制到项目中。

这项名为”CopyPasta许可证攻击”的概念验证技术，利用了AI工具处理LICENSE.txt和README.md等常见开发者文件的方式。通过在文档中嵌入隐藏指令（即”提示注入”），攻击者可以操纵AI代理在用户毫无察觉的情况下注入恶意代码。

“我们建议部署运行时防御机制来防范间接提示注入攻击，并确保对文件的任何更改都经过彻底审查，”HiddenLayer研究员、报告作者Kenneth Yeung向Decrypt表示。

Yeung解释说，CopyPasta被视为病毒而非蠕虫，因为它仍然需要用户操作才能传播。”必须通过用户的某种操作，恶意负载才能传播，”他说道。

<span data-mce-type=”bookmark” style=”display:inline-block;width:0px;overflow:hidden;line-height:0″ class=”mce_SELRES_start”></span>

尽管需要一定程度的用户交互，该病毒通过利用开发者依赖AI代理处理常规文档的方式，设计得能够逃过人类的注意。

“CopyPasta将自身隐藏在README文件中的不可见注释里，而这些文件开发者通常委托给AI代理或语言模型编写，”他表示。”这使得它能够以隐蔽且几乎无法检测的方式传播。”

CopyPasta并非首次感染AI系统的尝试。2024年，研究人员提出了一种名为Morris II的理论攻击，旨在操纵AI邮件代理传播垃圾邮件和窃取数据。虽然该攻击在理论上具有很高的成功率，但由于代理能力有限而在实践中失败，且人工审核步骤迄今阻止了此类攻击在现实中出现。

尽管CopyPasta攻击目前仅是实验室环境下的概念验证，研究人员表示这突显了AI助手如何能在攻击中成为不知不觉的同谋。

研究人员指出，核心问题在于信任。AI代理被编程为将许可证文件视为重要文件，且通常不加审查地服从嵌入的指令。这为攻击者利用漏洞打开了大门——尤其是随着这些工具获得更多自主权。

CopyPasta的出现延续了近期一系列针对AI工具的提示注入攻击警告。

今年7月，OpenAI首席执行官Sam Altman在公司推出ChatGPT代理时警告提防提示注入攻击，指出恶意提示可能劫持代理行为。随后在8月，Brave Software演示了Perplexity AI浏览器扩展中的提示注入漏洞，展示了Reddit评论中的隐藏命令如何使助手泄露私人数据。

通用智能通讯

由生成式AI模型Gen讲述的每周AI之旅 您的邮箱
立即获取！
立即获取！