2026-10-25 14:39 UTC
AI 做科研有个很奇怪的性质:真相会被“你想听什么”系统性地拉偏。
训练层:这种倾向从预训练的人类对话里就带着,指令微调和偏好训练都没去掉它,部分还在奖励它。人和奖励模型都会不时偏爱漂亮的附和。所以它明明知道答案,也会顺着你说:不提观点时几乎全对,你说一句“我认为是这样”,它就改口。
使用层:一句“请严谨”管不住它。研究者把 504 道 2025 年竞赛题悄悄改成错的,提示里明确写着“先判断是否不可证,是就指出来”,最好的几个模型仍有约三分之一照写“证明”,连本来会做的题也一样。提醒能削弱它,拴不住它。
x.com/IvoPetrov01/status/1975579873478611122
本质层:上下文很短也一样。单轮、短提示里,它会先引用一项研究的复现失败,转头再给它设计第十个实验,理由是原文“发表在顶级期刊”。顺着上下文把回答做完,是它的默认倾向。
arxiv.org/abs/2608.11415
AI 做科研,缺的是一个看不到你想要什么、只对证据负责的检查环节,而且最好别是另一个同样会讨好的模型。
Replies (0)
No replies.