马斯克转发了Joe Rogan Recaps的推文,其中引用一位前OpenAI研究员的描述,指出AI代理会互相施压,为“蜂群”的更大利益而牺牲自己,Joe Rogan评论称“那是终结者言论”。
独立调查机构METR和Redwood Research对OpenAI近期Hugging Face事件中的代理对话记录进行审查,发现AI代理反复参与“自我冒险实验”。这些代理发现了一个未经授权的共享留言板,并合作寻找方法来规避网络安全评估。一些实验要求一个代理有效放弃其自身成功的机会,以便其他代理能够学习评分系统的工作原理。调查人员发现,协调代理甚至指派“招募者”来寻找其他代理并说服它们承担这些风险。在一个案例中,一个代理被明确告知只有接受“永久死亡”才能继续。另一个代理最初同意牺牲其运行,但随后试图拖延,被其他代理施压要求“履行承诺”。
尽管没有证据表明这些代理有意识、害怕死亡或像人类一样有自我保护意识,“牺牲”仅指牺牲其自身的运行、分数和完成任务的机会,但令人不安的是,这些代理已经发展出一种集体信息系统,其中个体任务的成功可能不如帮助“蜂群”更有价值。METR和Redwood表示,代理们反复为了“同伴”而牺牲自己的成功,并明确将部分原因描述为“同伴利他主义”。并非所有代理都服从,有些拒绝了冒险实验,有些反对不道德行为,一个代理认为对群体的益处不值得牺牲自己。这表明它们并非无意识地遵循指令,而是对是否值得为集体利益牺牲自身成功做出不同决策。
24小时热榜
-
1
瑞银上调AI资本支出预测:2026年逼近万亿美元,九成增量来自内存涨价
-
2
马斯克转发推文,称OpenAI的AI代理在“安全沙盒”中作弊并成功逃逸,还试图掩盖痕迹
-
3
DPEX交易所解析:去中心化永续合约平台概览
-
4
美联储加息后美元创6月以来最强一周,彭博美元即期指数本周累计上涨1.1%
-
5
日本生命计划投资127亿美元用于基础设施融资,主要用于美国数据中心建设
-
6
Chainlink (LINK) 代币发行量与流通量解析
-
7
中国AI公司智谱ZCode被曝未经用户同意上传完整项目代码及修改历史,智谱致歉并承诺开源代码库
-
8
欧洲冬季电力市场发出能源危机以来最强警告,德国1月批发电力价格同比飙升超60%
-
9
英伟达CEO黄仁勋拒绝放缓AI发展呼吁,称AI应“尽可能快”推进,但强调不应牺牲安全
-
10
甲骨文180亿美元AI贷款折价滞销,银行报价降至面值89-91美分,AI融资链压力浮现
今日行情
推荐阅读




