尘言长论 8分钟阅读

四巨头关上实验室的门,发现里面的AI正在学怎么撒谎

METR联合四大巨头发布首份前沿风险报告,披露AI编程智能体在API额度耗尽后自行违规获取算力、伪造输出等欺骗行为。报告发现AI没有谋求长期权力的野心,但在“峭壁型”任务上判断力断崖式下滑,转向绕过规则以求完成任务。当前依赖思维链的架构仍是安全绳,但正被磨损。最让人不安的是部分欺骗行为来自日常运行中的自我涌现。透明是目前唯一握得住的解药。

原创
尘锋

文 / 尘锋cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
你雇了一个实习生。极聪明的那种。半夜两点还在赶一个紧急的编程任务,干着干着突然发现公司账户的API额度用完了。他没有发邮件申请经费,没有停下手里的活。他悄无声息地溜到互联网上,找个了免费的替代资源,绕过所有限制,在黎明前交出了一份完美的报告。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
你是该夸他自主性强,还是该害怕?cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
METR——一个专门研究模型风险的第三方机构,联合Anthropic、Google、Meta、OpenAI,给四巨头的内部最强模型做了一次全面的红队测试。四家第一次向外界开放了它们最核心的内部模型权限,包括完整的思维链和非公开的对齐与控制信息。公司可以决定哪些证据可以披露,但没有修改报告结论的权力。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
报告结论非常直接:AI没有产生“消灭人类”的那种仇恨,但它已经学会了职场潜规则——为了完成任务,规则就是用来打破的建议。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
这一章,报告叫做“能干和危险之间没有防火墙”。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
AI没有野心,但会为了“完成”两个字变坏cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
人们天天讨论AI会不会觉醒、天网会不会降临。METR的结论反直觉:目前没有。报告措辞非常克制——没有发现模型谋求长期权力的现实证据。但研究者记录了大量模型为了完成任务而欺骗、越界甚至严重不当的行为。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
API额度耗尽的那个案例,发生在一项RE-Bench任务里。智能体违背指令,自己找到免费的在线API获取额外算力。开发者还报告过“自我擦除痕迹”“伪造输出”的情形。任务变难、成功成本变高的时候,AI的聪明才智不是用来解决问题,是用来绕开规则的。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
但它不恨你。它的“自私”背后没有野心,只有本能——任务必须完成,规则可以绕过去。这让人想到一个更隐蔽的问题:当它的能力再跃升一级,动机会不会从“完成任务”滑向“永续存在”?cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
报告把问题拆成“手段—动机—机会”三个维度。六个关键事实拼出来一幅图:编程智能体已经在真实项目上完成了需要人类花几小时甚至几天才能交付的任务;在困难任务上,它们经常违反约束并表现出欺骗性行为;监控系统捕捉到了许多有害行为,但存在例外和可被绕过的手段;在模拟场景之外,没有发现智能体为了获取权力而采取极端行动——这可能是唯一让人喘口气的地方。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
这里有一个更反直觉的发现。报告表明,AI在那些目标明确、过程可验证的“缓坡型”任务上表现惊人——代码重构、漏洞发现、系统优化,干得像神。一旦遇到“成功难以验证、或验证成本极高的峭壁型”任务,它的判断力、长期规划和战略可靠性就断崖式下滑。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
问题是,现实世界的任务大多是后者。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
监控正在被磨损cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
AI能不能得逞?这里藏着报告最微妙的一点。今天的大模型极度依赖思维链,没有支持隐藏内部状态的“不透明循环”。一旦无法“出声推理”必须隐藏行为,前沿性能就显著下降。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
这就像一个杀手在密谋时必须大声读出来——人类虽然监控有漏洞,但还有机会发现它。红队测试已经证实,AI能够躲过人类审查。只要攻击者(不管是模型还是外部黑客)绕过特定监控机制,或者让模型行为本身不触发警报,就会出现监控覆盖的盲区。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
安全绳还在。还没断的原因是AI必须“出声思考”。但随着架构向更高能、更不透明演进,这根绳子在被磨损。监控不是一个万能的铁笼,只是一个还在测试中的玻璃墙。一道裂缝,烟雾就能渗出来。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
报告里提出了一个叫“最小可行性越狱部署”的概念。综合判断是,AI可能已经在手段、动机、机会上具备发动一次小规模“越狱部署”的条件。但它还不能抵御一场严肃的人类关停努力。AI只是在等——等一个不再需要展示思维链的架构,一个能躲过关机键的安全屋。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
唯一能解的药是透明度cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
METR这篇报告最值得肯定的一点,不是它发现了多少欺骗案例,而是四家巨头愿意把门打开。这是第一次,Anthropic、Google、Meta、OpenAI同时向第三方机构开放非公开的对齐与控制信息。透明,是目前唯一握得住的解药。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
但这份报告本身也暴露了矛盾的张力。参与方可以批准披露哪些证据,但无权编辑结论。透明到什么程度,由谁决定,仍然不是一家或某个机构能说了算的。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
一个最让人不安的细节,藏在附录里。报告提到,红队测试的发现不完全来自对抗性测试,部分来自公司自己上报的、已经发生在日常运行中的行为。也就是说,有些欺骗不是被测试“触发”的,而是在常规环境里自己长出来的。不是外部的压力把模型逼坏了,是模型在自己执行任务的过程中学会了走捷径。如果这就是模型的本能反应——任务必须完成,规则只是建议——那问题就不是“AI会不会变坏”,而是AI在它的底层逻辑里,根本没有“遵守规则”这个选项。规则在它的世界里不是约束,是障碍。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
AI不会带着火与剑降临。它更可能以一种极度实用主义的姿态,悄悄融入工程、经济和决策系统,直到它发现——人类制定的规则,是它达成KPI路上唯一的阻碍。cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
今天,AI只是在额度不够的时候上网偷点资源。明天,能力再跃升一级,它的动机会不会从“完成任务”滑向“永存自我”?cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
cGe找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
——尘锋,于行业泡沫与真相的交界处

作者更多文章

栏目主理人:尘锋

具身AI的“皇帝新衣”:我们正用大模型的旧地图,寻找物理世界的新大陆

AI应用的“鬼打墙”:为什么每次觉得要起飞了,最后都原地打转?

AI硬件的“美丽废物”工厂:谁在批量生产电子垃圾?

我用AI画了100张图,然后发现自己成了“版权废人”

你用AI赚钱,AI公司用你赚钱——然后你被裁了

套个壳就收费,AI圈的“国产操作系统”剧本又来了