确保AI系统的安全对 CIO 和 CISO 来说是一个迫切的问题，因为AI和大语言模型（LLM）在企业中的角色日益重要。因此，很多人本能地寻求 开放式网络应用程序安全项目（OWASP）的指导。
OWASP 因其网络应用安全漏洞的“Top 10”列表而闻名。近年来，OWASP 扩展了其关注点，推出了涵盖不同安全主题的多个“Top 10”列表，其中包括专门针对大语言模型（LLMs）的清单。但这个清单的覆盖面如何？其威胁指导是否全面？
在深入探讨 OWASP LLM Top 10 之前，安全专业人士可以换个视角进行思考。假如你是一个网络犯罪分子：你为什么要攻击 LLM？
攻击者的心态
恶意黑客行为并非学术活动，而是一种商业行为。网络犯罪分子不会攻击理论上可能的目标，而是瞄准能带来快速经济回报的对象。那么，操纵AI模型和 LLM 来传播错误信息的商业价值何在？在大多数情况下，其他攻击方式更容易获利，例如：
加密货币挖矿：利用被攻陷的AI系统的计算能力挖掘加密货币，这是一种快速兑现的方式。
勒索敏感数据：窃取如患者信息、客户资料或商业机密等敏感数据后，威胁泄露并要求支付赎金。
分布式拒绝服务（DDoS）攻击：通过大量请求瘫痪关键业务系统，以勒索赎金或在政治虚假宣传中使用。
更高级的攻击形式则需要更多努力、技术和资源，例如：
凭据窃取：窃取凭据后在企业系统中横向移动，获取更有价值的数据；如果这些凭据与 SaaS 服务（如 ChatGPT）相关，还可以在暗网出售。
触发经济收益操作：操纵AI系统执行未经授权的操作，例如金融交易，这显然是一种高投入的复杂攻击。
OWASP LLM Top 10：AI 安全风险
OWASP LLM Top 10 中的 10 个风险，有 5 个直接与操纵或攻击AI模型本身相关：
提示注入（LLM-01）：黑客通过向 LLM 提交请求（即提示），使其偏离预期用途，生成有害或不当的输出。
训练数据污染（LLM-03）：恶意行为者破坏训练数据，降低AI模型的质量。这种风险在公共社区数据中较为常见，对内部数据影响较小。
模型拒绝服务（LLM-04）：通过大量请求过载AI组件，影响其稳定性和可用性，从而干扰依赖这些组件的业务应用。
敏感信息泄露（LLM-07）：由于输入数据未经清理，LLM 可能包含敏感信息，或未对不当请求进行过滤，从而泄露机密数据。
模型窃取（LLM-10）：黑客可能通过探测系统了解其运作原理，进而窃取知识产权。
另一个风险是 过度依赖 AI（LLM-09），即盲目信任AI输出，可能导致错误决策，例如 LLM 的“幻觉”行为（编造虚假信息）。这更偏向商业风险，而非 IT 风险。
这些风险虽然存在，但在许多情况下，攻击者可能很难从中获利。企业通常需要针对具体的应用或模型，通过定期渗透测试等措施来缓解这些风险。
LLM 交互的挑战
将AI和 LLM 紧密集成到业务流程中带来了显著收益，但这种技术耦合也引入了超越模型本身的安全风险。以下是 LLM Top 10 中涉及的 4 类相关风险：
不安全的输出处理（LLM-02）：警告直接将 LLM 的输出传递给其他系统，未过滤掉隐藏攻击或恶意活动。
过多权限（LLM-08）：LLM 的访问权限超过实际需求，例如可以访问和发送电子邮件，使攻击者能够触发不良操作。
权限问题（LLM-06）：认证和授权检查不明确，LLM 或其插件可能对用户角色的假设不一致，导致安全漏洞。
不安全的插件设计（LLM-10）：当 API 接受自由文本输入而非具体的类型验证参数时，可能因恶意请求引发风险。
这些风险与 API 的安全卫生和“安全设计”缺失有关，大型企业可以通过渗透测试和安全保证措施来解决。
尽管目前对这些漏洞的利用成本较高，但随着 LLM 服务向包含大量第三方插件的生态系统发展，攻击者可能会在流行插件的漏洞或常见配置错误中找到大规模攻击的机会。
AI工具链的风险
公众普遍关注 LLM 的攻击，但用于训练和运行 LLM 的AI基础设施可能存在更大的风险，即使企业依赖于 SaaS 或广泛使用的AI框架。例如：
ShadowRay 漏洞（CVE-2023-48022）：允许攻击者在未验证身份的情况下提交任务，成为剥削的“公开邀请”。
‘Probllama’ 漏洞（CVE-2024-37032）：影响 Ollama 平台，因输入验证不当导致文件覆盖，可能引发远程代码执行。
此外，协作工具如 Slack、Hugging Face 和 GitHub 虽然提高了团队协作和效率，但配置错误或操作失误可能会将敏感数据或访问令牌暴露到网络上。
好消息是，企业可以通过标准化和集中化这些服务来减轻许多AI工具链相关的风险，从而确保安全加固并快速响应新漏洞。
常 IT层面的安全
很多AI和安全专业人士可能会感到意外：与AI系统相比，常规 IT 服务（如计算和存储，包括数据库即服务）的利用往往更简单。
误配置的对象存储：攻击者可以窃取数据用于勒索。
计算资源的访问：一旦攻击者窃取云凭据，就可以启动虚拟机进行加密货币挖掘。
OWASP LLM Top 10 并未涵盖这些风险，但对缺乏防火墙、区域隔离或适当访问控制的AI系统来说，这些是网络犯罪分子的主要目标。幸运的是，CISO 通常已经拥有必要的控制措施来保护传统应用工作负载。
OWASP LLM Top 10 在提高AI相关安全问题的意识方面表现出色。然而，针对AI工具链和常规 IT 基础设施的风险缓解才是优先事项，以防止攻击者轻松利用资源进行加密货币挖掘或窃取数据用于勒索。
深入研究AI模型攻击的细节当然有意义且必要，但这应当是“第二步”的工作。
