大型语言模型面临的风险

关键要点

主要风险：企业在使用大型语言模型LLMs时，面临诸如提示注入、提示提取、新的网络钓鱼方案和数据中毒等风险。新威胁：CISO如Michael Bray对LLMs改善患者护理充满热情，但同时也警惕其带来的潜在威胁。安全措施：多个安全组织，如OWASP和NIST，正在识别并优先处理这些漏洞。同时，新工具也在市场上出现，以增强针对LLMs的安全防护。

大型语言模型LLMs的广泛应用给企业带来了诸多优势，但同时也伴随着许多风险。根据温哥华诊所的CISO Michael Bray的说法，LLMs在提升患者护理方面有着无限的可能性。不过，他也十分关注LLMs所带来的新威胁以及隐患。今天，LLMs已经成为开放AI的ChatGPT、谷歌的Bard和微软的Copilot等快速发展的AI技术的核心，并迅速在各个企业中普及。不仅如此，LLMs还被开发用于金融、政府和军事等特定行业的各种应用程序。

海外加速器npv

面临的主要风险

随着LLMs的兴起，新的数据中毒、网络钓鱼、提示注入和敏感数据提取等风险也随之而来。由于这些攻击是通过自然语言提示或训练源执行的，传统的安全工具难以侦测到这些威胁。

好在，针对这些漏洞，开放网络应用安全项目OWASP、国家标准与技术研究所NIST以及其他标准组织也正在迅速进行识别和优先处理。欧盟 AI法案也已发布初步合规检查器，帮助组织判断其AI应用是否属于不可接受风险或高风险类别。2023年11月，英国发布了安全AI系统开发的指导方针。

新工具不断涌现，以应对LLMs带来的新风险。例如，自然语言网络防火墙、AI发现工具和增强的安全测试工具正在市场上推出，这可能演变为AI与AI之间的对抗战。在我们等待这些工具的同时，企业在使用LLMs时可能面临的最主要威胁包括：

1 恶意提示注入

专家表示，提示注入被认为是企业面临的主要风险之一。通过向LLM接口发送一系列混乱的提示来越狱AI，是最著名的风险之一。如果越狱者传播错误信息，可能会造成声誉损害。例如，一名黑客利用混乱的提示，迫使某汽车经销商的聊天机器人以一美元的价格提供给他一辆新车。

更严重的威胁在于，提示注入可能被用来强迫应用程序交出敏感信息。与SQL注入不同，威胁者可以使用无限的提示来试图欺骗LLM做出它不应该做的事情，因为LLM提示通常是用自然语言书写的。

2 提示提取导致的数据泄露

Robust Intelligence的首席技术官Hyrum Anderson指出，提示提取也是一种隐患。他表示：“提示提取属于数据泄露的一种，只要提出请求，数据就有可能被提取。”

以网站上的聊天机器人为例，其后面支持应用程序的数据可能会被外泄。举例来说，快速检索增强生成RAG技术就可以强化LLM的响应，连接相关信息源。如果用户通过特定的行和表请求信息，恶意攻击者则可能利用这种方式强迫数据库泄露敏感数据。

3 LLM引入的新网络钓鱼机会

LLMs也为网络钓鱼者提供了新的手段，以欺骗用户点击恶意链接。比如一名金融分析师使用RAG应用获取公司的盈利信息，如果在这一数据链中包含了指令让LLM响应一个钓鱼链接，那么用户极易上当。

传统的反钓鱼工具可能无法识别这些恶意链接，建议信息安全负责人与时俱进，更新员工培训课程，培养对RAG响应的批判性思维，并采用新的网络工具扫描RAG数据中的恶意提示。

4 中毒的LLM

来自开源库的模型和用于训练LLM的数据也可能存在中毒现象。Protect AI的CISO Diana Kelley指出：“最大的威胁可能在于LLM本身