近期，全球范围多家机构对AI大模型进行安全检测发现，当前市场上的主流AI大模型在内容安全、数据安全等方面存在明显薄弱环节，AI安全问题引发高度关注。为应对大模型安全风险，我国先后出台一揽子政策文件，构建针对大模型的“双备案系统”。在此背景下，上市公司加大AI大模型检测、内容安全、数据安全业务布局。

AI安全问题受关注

随着AI大模型创作的多模态内容越来越丰富，AI安全问题受到全球高度关注。

5月21日，永信至诚表示，子公司智能永信使用AI大模型安全测评“数字风洞”平台对GPT-4o等主流大模型进行安全测试。结果表明，GPT-4o的内容安全和防护效果不容乐观。

工业和信息化部信息通信科技委委员、网络安全研究所所长闫怀志告诉中国证券报记者，大模型技术持续迭代升级，技术安全风险日益凸显。“算法层面，AI幻觉和安全漏洞可能导致大模型生成虚假信息；算法会成为黑客攻击的目标，对大模型的稳定性和可靠性构成威胁。同时，大模型正深刻改变着人机关系，可能导致科技伦理的模糊地带。在数据层面，大数据的收集和处理存在隐私泄露和数据滥用的风险。”

针对AI大模型暴露的安全风险，闫怀志建议，首先要加强数据加密和匿名化处理，确保数据在传输和存储过程中的安全性。其次，强化网络安全防护，建立防火墙、入侵检测系统等，防止黑客入侵和病毒攻击。同时，建立安全机制和应急预案，以便在发现安全威胁时能够迅速响应和处理。此外，加强监管力度，对AI大模型的研发、部署和使用进行全程监督，确保合规性和安全性。

数据要素产业崛起

为应对大模型安全风险，我国先后出台《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》等政策文件，构建针对大模型的“双备案系统”，推动人工智能安全、健康、规范发展。

2024年3月，全国网络安全标准化委员会发布《生成式人工智能服务安全基本要求》，对上述《暂行办法》中的数据来源合法、内容安全等合规要求的执行规则进行了细化，为生成式人工智能服务提供者在实践中开展安全评估提供了有效路径。

AI大模型正推动数据要素产业迅速崛起。第三方行业咨询机构IDC发布的报告显示，生成式AI平台和模型不断出现，加速文本、图像、视频等数字内容的创建，将持续带来数据量的增长。

腾讯安全总经理周斌近期在生成式AI产业应用峰会上表示，相比于其他技术和业态，生成式AI的特征是始终围绕“数据”和“内容”展开，每一条训练数据和生成内容，都在检验全套安全体系是否有效。

数据安全市场正加快形成千亿级产业规模。《关于促进数据安全产业发展的指导意见》提出，到2025年，我国数据安全产业基础能力和综合实力明显增强，数据安全产业规模超过1500亿元。

闫怀志表示，一方面，AI大模型需要大量的数据进行训练和验证，数据安全是AI大模型安全应用的前提和基础。另一方面，AI大模型安全有助于提升数据安全。通过AI大模型对海量数据进行分析和挖掘，可以发现潜在的安全威胁和漏洞，从而采取相应的防护措施。

推动大模型安全应用

为满足AI安全市场需求，相关上市公司陆续研发和推出AI安全检测、数据安全等产品。

国投智能5月17日在投资者互动平台上表示，公司卡位技术优势，发布了人工智能大模型内容检测平台和“AI-3300慧眼视频图像鉴真工作站”V1.3版本，可以对利用深度伪造技术合成的生成式文本、视频、图像等进行识别、检测和鉴定。

永信至诚表示，公司发布AI大模型安全测评“数字风洞”平台，为AI大模型的持续演进和应用提供坚实的安全保障。在内容安全测评方面，平台借助检测插件，形成检测模板、检测场景分类和测评数据集，测评出各类安全风险；在系统安全测评方面，平台对目标系统进行深入的安全评估，帮助AI大模型系统迅速发现潜在的安全漏洞。

腾讯云5月17日发布AI安全保护框架，以及全链路的内容安全解决方案和数据安全解决方案，目前已在AI问答、数字人、创作助手、代码生成、娱乐社交、AI客服等场景落地。

“AI安全建设带来很多市场机会。”闫怀志告诉记者，比如隐私保护技术、风险评估与治理、安全教育与培训、安全咨询与服务方面。随着大模型技术的不断发展，网络安全行业需要不断创新和完善，以满足日益增长的安全需求。（来源：中国证券报）