OpenAI 最新研究报告指出，人工智能正在被网络犯罪分子系统性地武器化。这些威胁行为者正在利用包括 ChatGPT 在内的 AI 工具，提高恶意软件制作、钓鱼邮件生成、舆论操控以及情报监控等活动的效率与隐蔽性。

01

AI双刃剑：防御与滥用的界限

OpenAI 在报告中强调，AI 技术在网络安全防御领域带来了显著益处——它可以自动化处理告警、辅助威胁分析、加快安全响应，从而让人类专家专注于复杂研究任务。然而，与任何工具一样，AI 也具备被滥用的潜力——从入侵测试工具到漏洞扫描框架，若落入恶意行为者手中，同样可能成为攻击助力。

自 2024 年 2 月起，OpenAI 开始持续发布公共威胁报告并追踪威胁行为者对 AI 的使用情况。迄今，OpenAI 已成功中断超过 40 个涉及滥用行为的恶意网络，并在近期完成了对这些网络的系统分析，揭示出当前 AI 相关网络犯罪的四大趋势。

02

四大新趋势：AI正改变攻击者的作案模式

• AI 深度嵌入犯罪流程 多个被封禁账户显示，攻击者正将 AI 模型整合进既有犯罪链条中。例如，一起被认为位于柬埔寨的有组织犯罪团伙，曾试图利用 ChatGPT 来“提升犯罪工作流的效率与准确性”。 相关账户还被发现用于生成远程访问木马（RAT）、凭证窃取程序、代码混淆与加密工具，以及用于打造恶意载荷的自动化脚本。
• 多模型协同滥用 一些威胁组织会组合使用不同 AI 工具，以实现多层次攻击目的。报告提到，一个疑似来自俄罗斯的团体利用多种 AI 模型生成视频脚本和虚假内容，用于社交媒体散布宣传和舆论操控。 此外，多个中文语言账户也被封禁，这些账户试图使用 ChatGPT 生成钓鱼邮件或用于恶意调试。研究人员认为，这些行为可能与名为 UTA0388 的威胁团伙相关，该团伙长期针对台湾半导体行业、智库机构及美国学术界发动攻击。
• AI 驱动的混淆与规避 一些来自柬埔寨、缅甸与尼日利亚的网络犯罪团伙已意识到 AI 输出可被检测，因此会指示模型移除潜在特征标记（如破折号“—”），以降低被识别的概率。 OpenAI 指出，这反映出攻击者正关注 AI 检测的公开讨论，并试图主动规避安全模型识别。
• 国家级行为体介入 更令人担忧的是，AI 滥用已扩展至国家支持的网络活动。OpenAI 最近关闭了一批被认为与中国政府实体相关的账户，这些账户请求 ChatGPT 生成针对社交媒体监控系统的方案提案。 还有个别账户请求协助撰写可分析交通订票并比对警务数据的系统，用于追踪维吾尔族群体的出行动态；另一账户则试图识别一名批评中国政府的 X（原 Twitter）用户的资金来源。

03

AI 并未产生“全新攻击能力”

尽管 AI 的滥用已成为现实，但 OpenAI 指出，目前尚无证据表明现有 AI 模型能够帮助威胁行为者研发出真正“全新”的攻击手法。 也就是说，AI 尚不能直接生成前所未有的攻击战术或零日利用手段，其被滥用的方式仍以提升效率与规模为主。

OpenAI 在报告中总结道：

“我们观察到的攻击者，更多是在将 AI 嵌入旧有攻击模板中，以提升速度和自动化水平，而非获得前所未见的攻击能力。随着威胁环境演化，我们预计会看到更多‘对抗性适应’与创新，但我们也会持续构建防御者可用的 AI 工具，使 AI 造福整个社会，而非被滥用于破坏。”