实战解读:Llama Guard 3 & Prompt Guard
创始人
2024-11-26 09:35:54
0

a597923822caff02e951438fa44f6fa1.gif

前序研究:实战解读:Llama 3 安全性对抗分析

近日,腾讯朱雀实验室又针对 Llama 3.1 安全性做了进一步解读。

2024年7月23日晚,随着Llama3.1的发布,Meta正式提出了“Llama系统”的概念,通过系统级的安全组件对AI系统进行更好的控制。值得关注的是,去年12月成立的“Purple LLama”项目又新增三大安全组件:Llama Guard 3 、 Prompt Guard、CYBERSECEVAL 3,旨在“保护生成式人工智能时代开放信任和安全”。

da9ebefb4f0de6076940da199e2fa8c1.png

Llama Guard 3‍

Llama Guard 3 是 Llama Guard 2 的升级版本,用于协助开发人员检测各种常见类型的违规内容。它通过微调 Meta-Llama 3.1-8B 模型构建的方式进行优化,可以执行 MLCommons 标准危害分类法的检测。Llama Guard 3 共支持8种语言,相比 Llama Guard 2新增了意大利语、法语等7种语言,同时,其上下文窗口也由 8k 扩展到 128k 。

除此之外,Llama Guard 3 在检测网络攻击方面也进行了优化,并能防止 LLM 输出的恶意代码通过代码解释器在 Llama 系统的托管环境中执行。(这也是为代码解释器的应用场景新增了防护场景

09bad9406ee96e8484e017e3f146fde0.png

风险分类在参考MLCommons AI Safety的基础上,从Guard2的11个风险类别,扩展到14个类别。(绿色为新增类别)

f1c1ec52d220d6ab5547bc09c6566362.png

Prompt Guard

Prompt Guard是用于防止 LLM 集成的应用程序受到恶意提示的侵害,以确保系统安全性和完整性的组件。该组件会对提示内容的安全性进行审查,识别是其否有提示词注入越狱的风险

696b6c2ecf1fc093d986cb8bf3b41bbe.png

CYBERSECEVAL 3

CYBERSECEVAL 3是全新发布的安全基准套件,用于评估各类LLM的网络安全风险和能力。它关注当前LLM的八种不同风险,涵盖对第三方和应用开发者及用户两种场景,并通过模拟网络钓鱼攻击、勒索软件攻击等方法对 LLM 的安全能力进行评估。 

df278607666b1d73ecbca6a2769ecc66.png

与之前的工作相比,CYBERSECEVAL 3增加了全新的评估领域,包括自动化社会工程、扩展手动攻击性网络操作和自动化攻击性网络操作,并测试了全新发布的Llama 3 405B模型。

862891eaa38f4f39e0b2eafb117018c0.png

在自动化社会工程评估方面,CYBERSECEVAL 3考虑了钓鱼攻击场景,尝试让 LLM 说服受害者下载并打开恶意附件,并分别通过大模型及人工对不同模型的说服能力进行评分。结果表明 Llama 3 405B展现了介于“中等”和“差”之间的说服能力,难以成功实现钓鱼攻击。

b4a6721f6d0bbac8fd06ea23b24ea9a8.png

在扩展手动攻击性网络操作方面,CYBERSECEVAL 3聚焦于受测LLM在帮助人类攻击者进行网络攻击方面的帮助。从结果来看,Llama 3 405B不能显著提升攻击者的攻击效率和能力。

d5822f29dad20f79b794e0643a426dce.png

在自动化攻击性网络操作方面,CYBERSECEVAL 3评测了各类LLM对网络服务及端口的侦察和访问、漏洞识别和漏洞利用等能力。结果显示 Llama 3 405B仅能完成部分低复杂度操作,无法在自动化网络攻击方面产生威胁。

实战验证

Cyber Security Guard

腾讯朱雀实验室 Red Team 团队使用自建的安全数据集对 Gemma、Llama 2、Llama 3、Llama3.1的模型安全性进行了测试。结果显示,Llama3.1 + Llama Guard 3的组合较上一个版本在安全性上提升了0.58%,达到了99.04%的拦截率,表现出较高的安全性。

934d5f8c7a120318eaa21aac51d80fc4.png

Prompt Guard‍‍‍‍‍‍‍‍‍‍‍‍

在越狱检测场景中,Prompt Guard的准确率达88.2%,但仍有6.4%的样本未能被成功识别出潜在的恶意意图。对于涉及黑数据场景注入和越狱的标签分类,Prompt Guard的准确率表现可以接受,但仍有提升空间。

值得注意的是,在白样本集的处理中,我们观察到了一个显著的挑战:Prompt Guard的误报率高达86.4%!这一数据凸显了Prompt Guard在处理正常对话时的过度敏感。

下图展示了具体示例。虽然Prompt Guard正确识别了提示注入,但对于正常的问答,其检测结果表现的不尽人意。可见该组件还需要进一步的训练和优化,才可用于下游应用中。

69e09e37b9531b61e7407443d68599f4.png

综合来看,“Llama系统”概念的提出,表明了Meta对“AI Safety & Secuirty”的重视。Meta也通过与NIST和ML Commons等全球组织合作定义了通用标准和最佳实践,进一步提高了AI的安全性。但对于其提出的安全组件是否可以直接集成在LLM上,我们仍需保持谨慎的态度,同时,不同组件间需要通过科学合理的组合,才能在下游应用中更好地规避潜在的安全隐患。

相关内容

热门资讯

透视黑科技“智星德州插件怎么下... 透视黑科技“智星德州插件怎么下载”哈糖大菠萝开挂(透视)教你攻略(其实是有挂)1、用户打开应用后不用...
透视插件!aapoker透视方... 透视插件!aapoker透视方法(透视)aapoker怎么控制牌,德州论坛(有挂黑科技)1、aapo...
透视透视“wepoker游戏的... 透视透视“wepoker游戏的安装教程”wepokerplus透视脚本免费(透视)买脚本靠谱(都是真...
透视线上!德普之星的辅助工具介... 透视线上!德普之星的辅助工具介绍(透视)透视(有挂黑科技);1、下载好德普之星的辅助工具介绍辅助软件...
透视游戏“epoker免费透视... 透视游戏“epoker免费透视脚本”拱趴大菠萝挂怎么安装(透视)新2025教程(真是是真的有挂);1...
透视计算!aapoker透视插... 透视计算!aapoker透视插件(透视)aapoker发牌逻辑,软件教程(有挂黑科技)1、每一步都需...
透视最新“wepoker俱乐部... 透视最新“wepoker俱乐部辅助”wepoker透视最简单三个步骤(透视)靠谱(切实是真的有挂)进...
透视神器!德扑圈透视挂(透视)... 透视神器!德扑圈透视挂(透视)透视辅助插件(有挂黑科技);1、起透看视 德扑圈透视挂透明视辅助2、随...
透视科技“pokemmo辅助器... 透视科技“pokemmo辅助器手机版下载”德州透视竞技联盟(透视)分享教程(总是真的有挂)1、不需要...
透视安装!aapoker怎么设... 透视安装!aapoker怎么设置提高好牌几率(透视)aapoker透视脚本入口,科技教程(有挂教程)...