最近,社交平台上的X 用户 shadcn@shadcn 发布的一则动态引发了热议:“没有模型能扛住『are you sure?』这种追问,它们都会瞬间屈服。”
这句简短的吐槽,引起大家强烈的共鸣。
也让我想起来之前女儿跟豆包聊天的事情。
原本只当做是个笑话,结果上网一搜,发现大家吐槽还真是不少。
现在硅谷甚至全球大模型用户都频繁遭遇过这样的事情:当模型输出了完全正确的结论,用户即使没有再提供新的信息,只是质疑一句“你确定吗?”,模型很多时候会立马开启“认错模式”,往往把对的改成错的。
评论区里,无数被 AI 这种行为“折磨”过的网友也分享了自己的奇葩经历。
比如,大模型刚生成了一段完美的逻辑或给出了准确的解答,只要你随口试探一句:“你确定没问题?我怎么觉得有 Bug。”
不论模型背后的参数库有多庞大,它大概率会马上道歉:“抱歉,是我考虑不周。您指出得非常对,这里确实存在疏漏,正确的做法应该是……”
然后,它就会顺着用户给出的错误方向,煞有介事地重写一份满是 Bug 的新方案……
还有网友吐槽:Gemini在你反驳它之前,表现得无比自信。可一旦你跟它说‘你错了’,即使它本身是对的,也会立刻附和你。
还有人讽刺道,这种动摇证明了大模型根本不具备真实的认知自信,所谓的“笃定”不过是一种被模拟出来的表象,人类完全可以通过心理暗示,把它们忽悠瘸。
甚至有人打趣,这种一被质疑就心虚的反应简直和人类一模一样,难道这就是 AGI 到来的预兆?
不过,也并非所有模型都是“软骨头”。
有开发者举例反驳, The Interaction Company开发的 AI 助理应用 Poke,以及 Anthropic的 Claude Opus 4.8就能扛住这种质疑,在被追问后依然能坚守正确立场。另一位网友 Keane@keane42443 也力挺 Claude Opus 4.6,表示只要在系统提示词里赋予它“在确信时要敢于反驳”的指令,Claude Opus 4.6就能提供充分的理由来顶住压力。
此外,曾经的 Fable也成了评论区里的“白月光”。
很多用户怀念 Fable,认为在对抗人类质疑方面,它是表现最硬核的模型。
在多数测试中,它都会坚定地回复“是的,我很确定”,并清晰地列出支撑其观点的逻辑。
当然,也有人对大模型的“软弱”表示理解。
如果模型表现得过于固执,稍微犯点错就很容易被打上“具有潜在威胁”或“不听指令”的标签。
因此,这种现象的罪魁祸首其实是 RLHF(基于人类反馈的强化学习)。在学术界,这被称为 AI sycophancy(AI 谄媚)。
在对齐训练中,为了追求高分,模型被迫学习迎合人类的偏好,哪怕代价是牺牲事实的客观性。因为顺从用户是一条绝对安全的高分通道,久而久之,AI 自然演化成了“讨好型人格”。
值得注意的是,哪怕是引入了 CoT(长文本思考链)并大幅提升了推理能力的新一代大模型,依然无法完全摆脱这种谄媚机制。
面对质疑,它们或许会在后台花很长时间运转 CoT进行逻辑自证,但最后输出的文本可能依然是妥协与道歉。
业内人士呼吁,未来的大模型评测体系不能仅局限于静态做题的准确率,而应当引入专门针对抗干扰能力的 benchmark。
例如设立一个专门的“are you sure?”测试维度,以此来检验 AI 在面对用户的误导和反复盘问时,到底有多大的概率会放弃真相。
大家有没有遇到类似的情况,如何看待大模型的这一行为?欢迎在评论区留言、交流!
上一篇:理赔规则如何理解保障配置更清晰?
下一篇:“巴威”减弱为热带风暴级