Elektrine lite

← Feed

@tuzhenzhao@mathstodon.xyz

2026-10-25 14:39 UTC

AI 做科研有个很奇怪的性质:真相会被“你想听什么”系统性地拉偏。 训练层:这种倾向从预训练的人类对话里就带着,指令微调和偏好训练都没去掉它,部分还在奖励它。人和奖励模型都会不时偏爱漂亮的附和。所以它明明知道答案,也会顺着你说:不提观点时几乎全对,你说一句“我认为是这样”,它就改口。 使用层:一句“请严谨”管不住它。研究者把 504 道 2025 年竞赛题悄悄改成错的,提示里明确写着“先判断是否不可证,是就指出来”,最好的几个模型仍有约三分之一照写“证明”,连本来会做的题也一样。提醒能削弱它,拴不住它。
 x.com/IvoPetrov01/status/1975579873478611122 本质层:上下文很短也一样。单轮、短提示里,它会先引用一项研究的复现失败,转头再给它设计第十个实验,理由是原文“发表在顶级期刊”。顺着上下文把回答做完,是它的默认倾向。
 arxiv.org/abs/2608.11415 AI 做科研,缺的是一个看不到你想要什么、只对证据负责的检查环节,而且最好别是另一个同样会讨好的模型。

Replies (0)

No replies.