郑庆华:实现人机价值对齐的技术路径 | WAIC社科分论坛
创始人
2025-07-28 08:41:56
0

确保人工智能正向赋能科技向善的前提是实现人机价值对齐。对此,我有以下几点认识:

AI是一种新质生产力。我们已经进入人机混合增强智能的智能社会。AI的本质是赋能。

AI正在影响文化和文明。生成式人工智能技术可能引发文化价值、伦理、知识产权等问题的再思考,特别是由于算法偏见,可能导致语言和文化的多样性受损。

大模型正在重塑知识生产传播的格局。如果大模型背后的语料、算法、模型存在意识形态偏见,将对大模型的平权性造成极大影响。

AI正在影响人类的认知逻辑。AI已经具备知识生产和逻辑演绎的能力,正朝着如何具有意识这样的方向发展。

AI的物化力量在于拓展认知边界。AI解决了从定性到定量,从模糊到精准的难题,已成为人类认知的超级显微镜、超级望远镜和超级计算器,AI实现了知识的外化和工具化。

人机价值对齐有两方面内涵:一是AI对齐人类,其目的是创建安全、符合人类伦理的人工智能系统;二是人类对齐AI,其核心目标是确保人类负责任地使用AI。人机价值对齐面临三大技术挑战:价值的定义理解难;价值的学习推断难;价值的安全性和鲁棒性。对此,可采取以下技术路径:

路径1:基于有监督调优的价值观对齐。利用明确高质量标注数据训练大模型,让大模型学习输入文本和人类标定价值观标签之间的映射关系,强化学习让模型学习人类的价值和偏好。

路径2:基于反馈强化学习的价值观对齐。主要思路是定义一套价值观相关的奖励信号,在模型内容生成过程中,能够根据环境中获得的奖励或惩罚等反馈信号,不断调整自身策略,最终输出符合人类期望的内容。

路径3:推理阶段的价值观对齐。在模型推理阶段嵌入价值观规则和原则,以指令引导或后处理形式对模型输出进行动态调整,使得输出结果符合人类价值观标准。

(作者为同济大学党委书记、教授,中国人工智能学会副理事长)

相关内容

热门资讯

头部纷纷绑定大模型 智能摄像头... 图为位于湖北省咸宁市一家公司的无尘车间内,工人在生产准备出口的智能摄像头模组。 新华社发(刘建平 摄...
AI重塑学习场景,技术突破与生... 《科创板日报》7月27日讯(记者 李佳怡)2025世界人工智能大会将于7月26日至28日,在上海浦东...
AI全栈优势发力,百度智能云加... 文/智能超参数主理人 罗亮 今年以来,我国AI产业迎来规模化应用的关键拐点,大模型技术从试点加速向行...
和烁丰新材料取得间隙涂布控制装... 金融界2025年7月28日消息,国家知识产权局信息显示,无锡和烁丰新材料有限公司取得一项名为“一种间...
它们不仅能干活,还会“察言观色... □ 本报记者 张宣 杨易臻 7月26日,2025世界人工智能大会在上海启幕,100余款“全球首发”“...
ETC助手亮相2025中国互联... 7月23-25日,2025(第二十四届)中国互联网大会在北京国家会议中心成功举办。作为全国互联网ET...
中科闻歌重磅发布决策智能操作系... DoNews7月28日消息,在2025世界人工智能大会(WAIC)上,中科闻歌重磅发布全新AI基础设...
银川市36项举措推进科技与产业... “小到手机屏幕、手表、项链,大到新能源应用、汽车消费类电子应用等,都有蓝宝石的身影。”近日,记者在天...
“双一流”高校学生缘何赴职业本... 唐山工业职业技术大学教师田超正在指导北京交通大学学生实训。王浩文/摄 近日,北京交通大学机械与电子控...
第十届“创客中国”智能机器人中... 人民网重庆7月28日电 (记者胡虹)第十届“创客中国”中小企业创新创业大赛决赛26~27日在重庆两江...