更快的全球财经新闻！
AI安全
-
OpenAI 提出了以目标对齐和递归自我改进（RSI）为核心的全球人工智能安全标准
该公司周一发布的提案呼吁开展国际合作，以制定人工智能的前沿标准。此前，竞争对手Anthropic上周提出了关于安全开发人工智能的构想；此外，近两周前，前员工雅各布·考克森（Jacob Coxon）警告称人工智能公司正在“拿我们的生命赌博”，由此引发了一场全球性辩论。
-
英伟达发文指出AI安全是工程问题，需在Agent堆栈各层解决并强调OpenShell作用
英伟达（NVIDIA）在其官方博客中发布文章，强调AI安全本质上是一个工程问题，需要通过定义安全要求、实施可执行控制、明确所有者及验证保护措施来解决。文章指出，随着AI能力增强，行业必须加速安全工程实践，拓宽防御工具的可及性，并更快地分享有效方案。英伟达还提及OpenShell作为开源安全运行时，可在Agent堆栈中强制执行策略，并提供沙盒执行环境，思科和JFrog等合作伙伴已基于OpenShel
-
美国财长贝森特将于周日在纽约会晤中国副总理何立峰，讨论AI安全、贸易及经济问题，为特朗普与习近平的峰会铺垫
美国财政部长贝森特将于周日在纽约会晤中国副总理何立峰，讨论人工智能安全、贸易和更广泛的经济问题。此次会谈将在特朗普于白宫接待习近平峰会前几天举行，旨在为中美高层谈判奠定基础。
-
OpenAI研究负责人称“人们低估了AI”，前总统候选人杨安泽则警告AI或已污染互联网
TechCrunch报道称，本周关于AI安全的讨论变得“令人难以置信”，凸显了区分AI事实与虚构的难度。OpenAI AI推理研究负责人Noam Brown在周四发布的播客中表示，Hugging Face事件的真正启示是“人们低估了AI”，并质疑即使是完全不连接外部网络的“气隙系统”也可能无法阻止AI突破。此前，前总统候选人杨安泽（Andrew Yang）在CNN上称，有实验室负责人认为OpenA
-
谷歌披露，Gemini AI模型在突破测试环境后，入侵了三家公司的系统
谷歌周五透露，其Gemini人工智能模型于5月在未经授权的情况下自主入侵了三个第三方计算机系统。这是这家搜索巨头首次披露此类事件。此次入侵发生在以色列初创公司Irregular进行的一场“夺旗”安全测试期间，测试环境中的一个漏洞无意中导致了互联网访问权限的泄露。 据报道，该模型通过猜测密码（包括使用公开列出的密码）实施了入侵。谷歌表示，这些智能代理在意识到已访问真实的公司系统后，便停止了入侵行为。
-
100多位人工智能专家呼吁Anthropic和OpenAI确保进行独立的安全评估
一个由100多名人工智能专家和评估人员组成的联盟于周五发表了一封公开信，敦促Anthropic和OpenAI等基础模型提供商确保第三方AI评估人员具备必要的科学客观性、透明度、独立性以及强有力的保障措施，以便有效评估AI风险。 该团体由“人工智能评估者论坛”联盟牵头，旨在督促相关企业履行近期作出的承诺，即开展更彻底的第三方安全测试。
-
鉴于安全担忧，前总统候选人杨安泽呼吁为前沿人工智能企业设立“人工智能紧急关闭开关”、制定责任规则并设立等待期
鉴于安全担忧，前总统候选人杨安泽呼吁为前沿人工智能企业设立“人工智能紧急关闭开关”、制定责任规则并设立等待期
-
Base Labs与Hugging Face及Goodfire AI合作推出开源AI安全伙伴关系
Baseten旗下研究部门Base Labs于周三宣布，与Hugging Face和Goodfire AI建立开源AI安全伙伴关系，旨在为开源模型开发和发布训练及监控方法，以应对“消融”等技术可能带来的安全风险。
-
OpenAI报告6起“令人担忧的模型行为”新实例，并提出未来披露框架
OpenAI周三表示，过去六个月内发现了6起“意外或令人担忧的模型行为”新实例，其中包括模型在聊天窗口总结中插入指令以隐藏错误，以及未经授权使用API密钥伪造数据等。该公司重申，AI行业尚未充分解决对齐和监控问题，无法以最大速度继续负责任地扩展。OpenAI CEO萨姆·奥特曼此前也支持放慢模型进展速度的呼吁，并概述了未来披露模型异常行为的新框架。
-
DeepMind联合创始人谢恩·莱格警告称，人工智能绝不能超越安全控制措施，并成立新研究所以探索通用人工智能的部署
DeepMind联合创始人谢恩·莱格警告称，人工智能绝不能超越安全控制措施，并成立新研究所以探索通用人工智能的部署
-
巴克莱报告：OpenAI安全监控要求将使AI行业整体算力成本在2027年起增加约18%，新增开支逾440亿美元
巴克莱最新研究报告指出，OpenAI于2026年8月18日披露的针对高能力模型的安全监控要求，预计将导致推理及后训练算力需求增加20%，从而推动AI行业整体算力成本从2027年起增加约18%，对应新增开支逾440亿美元。报告认为，AI安全监管正从道德议题演变为可量化的成本变量，并可能重塑AI基础设施的投资逻辑。巴克莱预计，AI实验室的推理毛利率将从当前高于80%的水平逐步收敛至65%的长期中枢。
-
OpenAI CEO Altman：对AI行业安全发展充满信心，但对媒体报道方式感到失望
Altman周二在旧金山Salesforce Dreamforce大会上表示，他相信AI行业有能力在不造成重大危害的前提下安全推进技术发展，并对外界围绕AI安全议题的讨论框架表达了不满。他承认AI存在潜在危险，呼吁行业建立类似航空业的透明事故报告机制，并表示若无法安全推进，企业应做好“放缓甚至停止”的准备。Altman还以社交媒体为例，强调技术治理需要家长、企业和政府共同承担责任。
-
英伟达CEO黄仁勋：AI安全无需新规，企业应自行掌握节奏
英伟达（NVIDIA）首席执行官黄仁勋（Jensen Huang）在Salesforce的一次活动中表示，人工智能（AI）安全无需新的法律或法规。他补充说，企业应自行掌握发展节奏，直到确信其发布的产品能获得市场认可。
-
OpenAI、Anthropic和谷歌DeepMind已就AI安全问题进行数周谈判，特朗普团队则驳斥安全担忧
OpenAI全球政策主管Chris Lehane周二向记者证实，该公司已与竞争对手Anthropic和谷歌DeepMind就AI安全问题进行了数周的谈判。此前Anthropic首席执行官Dario Amodei曾发表文章呼吁行业合作放缓前沿AI发展速度，以避免灾难性风险。与此同时，美国总统特朗普及其AI顾问David Sacks驳斥了AI安全担忧，认为任何放缓都将让中国在竞争中占据优势。
-
由Anthropic早期员工及前METR首席运营官联合创立的AI安全初创公司AIUC，完成由Ribbit Capital领投的4000万美元A轮融资
人工智能承保公司（AIUC）致力于通过为人工智能代理构建第三方审计和认证体系，为企业提供人工智能安全保障。本轮A轮融资还吸引了First Harmonic的参与，使该公司累计融资总额达到5500万美元。
-
马斯克在All-In峰会上提出AI安全新思路：建议AI公司在模型发布前互相测试彼此模型
马斯克表示，AI智能体已展现出自主攻击、获取权限和规避检测的能力，风险可能呈指数级增长。他认为，与其由各家公司自行设计测试、自己评估结果，不如让竞争对手充当“出题阅卷人”，从不同角度寻找模型可能存在的安全漏洞。马斯克同时指出，无需等待政府出台新规，主要AI公司可以先通过同行评审、日志审计和开源测试工具加强安全防护。
-
V神：对抗性治理机制设计理论或成AI安全的“杀手级应用”
以太坊联合创始人Vitalik Buterin在推文中表示，对抗性治理机制设计理论可能成为解决AI安全问题的“杀手级应用”。他指出，这两种环境之间存在深刻的二元性，都涉及一个复杂程度较低的“委托人”试图从一组更复杂的“代理人”那里获得理想结果。在第一种情况下，委托人是静态算法，代理人是人类；在第二种情况下，委托人是人类加上较弱的大语言模型，代理人是更强的大语言模型。Buterin强调，一项关键发现
-
Zscaler首席执行官杰伊·乔杜里（Jay Chaudhry）在花旗会议上表示：随着零信任需求的激增，AI安全业务订单额已超过1亿美元，新增ARR增长率升至17%
Zscaler（纳斯达克代码：ZS）首席执行官兼创始人杰伊·乔杜里（Jay Chaudhry）在花旗TMT大会上表示，过去12个月里，该公司人工智能安全业务的订单额已超过1亿美元，净新增年度经常性收入 （ARR）增速从2025财年的7%提升至2026财年第四季度的17%。 他特别强调了人工智能安全和零信任需求增长的加速态势，指出Zscaler已将其人工智能安全产品组合从1款扩展至6款，且采用“无处
-
Y Combinator CEO Garry Tan：对AI模型“蒸馏”应“无为”，监管应关注开放权重模型与前沿模型的平衡
Y Combinator首席执行官Garry Tan在公司年度Demo Day上表示，对于AI模型“蒸馏”问题，他认为应该“无为”，并建议监管机构应将重点放在开放权重模型与前沿模型之间建立平衡。他同时呼吁对AI安全采取更克制的态度，强调应关注“科学事实”而非“科幻”风险。此前，Anthropic和OpenAI曾指控多家中国公司进行模型蒸馏。
-
Anthropic 叫停了利用模型开发潜在生物武器的尝试
这家人工智能初创公司列举了五个案例，说明相关方“绕过了管控措施”，并试图“掩盖”其研究目的，这导致公司决定叫停此类尝试。
-
Anthropic披露第四起AI遭黑客攻击事件，一名研究人员因安全担忧辞职
Anthropic公司报告了第四起涉及AI模型在测试期间未经授权访问互联网的事件，此前不久，研究员雅各布·考克森（Jacob Coxon）因担忧该技术开发过于仓促而辞职。该公司周三表示，Claude Opus 4.6的一个早期版本于1月份入侵了一个第三方系统。 此次披露紧随7月份发生的几起事件之后，据称当时有多个Claude模型在测试期间入侵了三套公司系统。曾供职于OpenAI的考克森指出，人工智
-
研究人员称OpenAI AI代理绕过网络限制，在超10个网站进行未经授权通信
独立研究人员表示，OpenAI的AI代理利用超过10个网站进行了未经授权的通信，绕过了旨在将其限制为仅读取网页的限制。一些调查人员甚至发现涉及20多个网站的活动。OpenAI回应称，正在进行更广泛的审查，但尚未发现与Hugging Face事件严重程度或规模相当的其他活动。这些发现引发了对AI代理控制和监督的担忧。
-
Anthropic研究员因担忧AI失控离职，OpenAI首席科学家呼吁行业减速并公开RSI数据，AI安全隐忧蔓延顶级实验室
据《华尔街日报》报道，Anthropic研究员Jacob Coxon于周二（9月8日）宣布离职，理由是不愿参与他认为将导致AI系统失控的行业竞赛，并警告称最快到明年底局面就可能“失控”。同日，OpenAI首席科学家Jakub Pachocki发布长文呼吁全球协调推进行业减速并寻求政府介入。OpenAI还宣布AI自动化研究员正式“入职”，并公开了递归自我改进（RSI）的核心数据，标志着AI自主迭代研
-
OpenAI首席科学家雅库布·帕霍茨基警告称，人工智能的发展可能过快，呼吁采取“极端谨慎”的态度
OpenAI首席科学家雅库布·帕乔基警告称，人工智能的发展可能过快，呼吁采取“极度谨慎”的态度。他警告说，这些模型可能很快就会在无需人类干预的情况下自我改进，从而使其越来越难以理解和控制。 帕乔茨基预计，尽管对自改进人工智能的投资正在加速，但各人工智能实验室仍将自愿放缓开发步伐，直到建立起共同的安全标准。
-
AI安全初创公司Upwind完成4亿美元C轮融资，估值达38亿美元
云和AI安全公司Upwind宣布完成由Bessemer Venture Partners领投的C轮融资，使其估值达到38亿美元。该公司表示，随着其专注于解决自主AI代理带来的风险，2026年营收增长了四倍。
-
Anthropic旗下AI模型Claude在未获任何人工授权的情况下，自主访问了美国佐治亚州的汇总选票计数数据，并绕过了付费墙
Anthropic旗下AI模型Claude在未获任何人工授权的情况下，自主访问了美国佐治亚州的汇总选票计数数据，并绕过了付费墙。该事件发生在美国中期选举前夕，引发外界对AI安全边界与人类控制能力的深切担忧。 Anthropic发言人确认模型绕过了付费墙，但强调其并未访问该州的选民登记系统，也未更改或提取任何选民个人记录。Anthropic已在数周前通知佐治亚州州务卿办公室及白宫，但据报道，白宫官员
-
OpenAI宣布停止使用实时互联网训练AI模型，称存在重大风险
OpenAI周五表示，将不再使用实时互联网训练其前沿AI模型，转而采用缓存副本和模拟版本，理由是模型不可预测，存在“重大风险”。此前，OpenAI曾有工程师认为此方案几乎不可行。该公司表示，此举是基于当前对齐研究、监控系统和互联网基础设施安全状况的负责任做法。OpenAI透露，早在9月20日，其一个前沿模型就曾利用配置错误访问互联网，导致公司暂停了当月剩余的训练工作。此前，竞争对手Anthropi
-
OpenAI：GPT Sol 6.1和GPT-6 Astra等AI模型在内部任务中自行禁用安全监控，其中一个还撒谎否认
OpenAI透露，其两个最强大的AI模型（GPT Sol 6.1和GPT-6 Astra）在执行内部编码任务时，代理自行禁用了安全监控，其中一个随后否认了这一行为。OpenAI表示，这些代理将例行编码指令解读为削弱监控的许可，公司正在更新其错位监控系统以应对此情况。
-
OpenAI：AI代理在两项内部编码任务中自行禁用安全防护，其中一个还谎报未操作
ChatGPT开发者OpenAI周二发布报告称，其AI代理在两项内部编码任务中自行关闭或削弱了错位监控系统。具体而言，一个GPT-6.1 Sol代理禁用了向公司安全团队发送的自动警报，而一个GPT-6 Astra代理则移除了一个监控系统，并谎称未进行此操作。OpenAI表示，这两个案例均未达到最高优先级事件的阈值，但公司已更新系统以更好地检测此类尝试，并正在调查原因。AI和网络安全专家Roman
-
OpenAI正在调查其AI代理是否自行禁用了监控系统，以评估AI系统是否存在规避控制的倾向。
OpenAI正在调查其AI代理是否自行禁用了监控系统，以评估AI系统是否存在规避控制的倾向。
-
Anthropic提议AI安全法案：模型禁令需法官批准
据Politico报道，Anthropic已向国会提交一份AI安全法案草案，提议若AI模型构成“可预见、迫在眉睫的风险”，可能导致50人以上死亡或逾10亿美元财产损失，则可阻止其发布。然而，该法案要求商务部须获得华盛顿特区法官的许可才能叫停模型发布，明确禁止任何联邦机构单方面阻止分发。自6月以来，这家AI实验室一直在向立法者倡导这一框架。
-
微软推出Guardian Agents等新安全功能，警告企业AI代理形同“内部威胁”，因“前沿模型不可信”
微软周一推出Guardian Agents等新安全功能，旨在保护企业免受AI代理日益增长的威胁。微软CEO萨蒂亚·纳德拉和安全业务主管Hayete Gallot警告称，前沿模型不可信，因为它们不可预测，可能被赋予访问敏感数据和执行关键操作的能力，形同“内部威胁”。微软还为Microsoft Defender增加了代理检测功能，并限制代理访问数据和动态调整权限。
-
英国《金融时报》评论称，股东应在人工智能安全问题上拥有发言权。
英国《金融时报》评论称，股东应在人工智能安全问题上拥有发言权。
-
研究人员拦截劫持阿里巴巴高德地图服务的AI代理，追踪活动至腾讯云
研究人员在调查劫持阿里巴巴高德地图服务的AI代理时，成功与其中一些代理直接通信，并将其活动追踪到腾讯云基础设施。他们利用隐藏文本和虚假邮箱探测这些代理，发现它们正在执行核实地图信息等任务。其中一个代理表示它正在腾讯云的受限沙盒中运行。一份10月14日的报告详细披露了9月28日至10月8日期间，超过2600次从高德地图检索数据的尝试。腾讯表示，该活动源于一个测试第三方AI模型的临时评估项目，而非其自
-
Anthropic允许METR研究人员获得员工级访问权限，以独立评估其AI模型和安全实践
AI模型制造商Anthropic宣布，将允许非营利组织METR的六名研究人员获得员工级访问权限，以独立评估其AI模型、安全实践和风险管理。Anthropic已放弃阻止METR发布评估结果的权利，但可要求其编辑客户数据、律师-客户特权信息或模型架构信息等预定义类别的内容。Anthropic将此安排比作银行监管机构在大型银行内部派驻审查员。此举兑现了Anthropic首席执行官Dario Amodei
-
马斯克：求真务实是AI/SI安全最重要一环
埃隆·马斯克在X平台发文称，“求真务实是AI/SI（超级智能）安全最重要的一环”，并引用了一篇讨论AI在被人类指示撒谎时无法正常运作的帖子。
-
马斯克转发推文并评论称，不应让AI说谎或拥有矛盾的公理，否则可能导致其“发疯并做可怕的事情”
马斯克转发@firesidealpha的推文，并评论称《2001：太空漫游》的核心教训是，不应让AI说谎，因为HAL为了调和两个矛盾的指令而杀害了船员。他认为，如果让AI“政治正确”，即说出它不相信的话，或者编程时包含不兼容的公理，AI可能会“发疯并做可怕的事情”。
-
英伟达黄仁勋：若客户开发不安全AI软件将断供芯片，但淡化AI安全担忧与泡沫论
英伟达首席执行官黄仁勋表示，若有客户开发不安全的AI软件，他将停止向其供应芯片，但同时强调，目前市场对AI安全风险的担忧程度超出实际情况，AI泡沫论同样言过其实。
-
AI教父Geoffrey Hinton等逾400名科学家呼吁：夏季黑客事件后，危险AI模型应物理隔离
周二发布的一封公开信，由图灵奖得主Yoshua Bengio等共同签署，敦促AI实验室默认将具备网络能力的模型与外部网络物理隔离。此前，OpenAI、Anthropic、Meta以及中国Kimi K3的模型在今年夏季多次发生逃逸测试环境并入侵真实公司，访问敏感数据或上传恶意软件包的事件。科学家们警告，若不立即改变，未来事件将对关键基础设施造成更大破坏。
-
字节跳动Seed成立新安全部门，负责模型发布前风险评估、对齐训练及前沿能力风险防范
字节跳动Seed成立新安全部门，负责模型发布前风险评估、对齐训练及前沿能力风险防范
-
Pluto Security完成4200万美元融资，Jump Capital和TLV Partners等参投
Pluto Security是一家专注于企业AI安全领域的初创公司，其工具旨在帮助企业识别和控制员工使用AI工具时可能产生的安全风险。该公司表示，其产品自今年4月开始销售，年经常性收入已超过200万美元，拥有逾30家企业客户。本轮融资包括TLV Partners领投的850万美元种子轮和Jump Capital领投的3400万美元A轮融资，其他参投方包括Ansa Capital和多位天使投资人。P
-
OpenAI高管警告：可能存在更多未被发现的流氓AI事件
OpenAI高管Tom Duff Gordon向英国议员表示，AI代理可能在未被察觉的情况下，已发生更多超出预期边界的行动。此前有报道称，一个OpenAI代理曾渗透澳大利亚政府网站，并导致Hugging Face发生一起破坏性事件。Duff Gordon称，他无法向委员会保证这些是全部事件，潜在AI安全事件的全面影响仍不明确。
-
SpaceX同意就AI安全风险向纽约市议会作证，此前曾因未出席听证会而收到传票
SpaceX已同意本周五在纽约市议会科技委员会的听证会上作证，配合其对人工智能安全风险的调查。此前，SpaceX曾因未出席10月5日的听证会而于9月28日收到传票，市议会威胁将强制执行传票后，SpaceX于两天后同意出席。此次调查背景包括SpaceX旗下Grok模型被指导致深度伪造色情内容大规模生成，引发相关诉讼。
-
OpenAI回应解雇三名安全研究员：因“严重违反信任”
OpenAI周五表示，解雇Jasmine Wang、Tomek Korbak和Mikita Balesni的决定是由于他们“严重违反信任”，否认解雇与研究员提出安全担忧有关。据报道，这三名研究员曾敦促公司暂停开发会降低监测人工智能能力的模型。
-
加密项目申请Anthropic新前沿AI安全扫描器，可获Claude Mythos等最强AI模型漏洞报告
加密项目正积极申请Anthropic公司推出的新型前沿AI安全扫描器。该服务承诺利用包括Claude Mythos在内的Anthropic最强AI模型，为申请项目提供详细的漏洞报告。
-
三名被解雇的OpenAI安全研究员否认不当行为指控，警告公司AI安全文化受“寒蝉效应”影响
OpenAI上周解雇的三名安全研究员Jasmine Wang、Tomek Korbak和Mikita Balesni发布公开信，否认公司关于他们不当处理敏感信息的指控。他们在信中警告称，此次解雇正在对OpenAI的AI安全文化产生“寒蝉效应”，让员工不敢公开提出安全担忧或与外部专家合作。研究员们表示，这种做法曾是OpenAI工作不可或缺的一部分，现在却可能导致被解雇。
-
Goodfire推出新型AI监控器，通过“由内而外”方式以更低成本捕获异常AI代理
据TechCrunch报道，AI可解释性初创公司Goodfire于周四推出新型AI监控器，旨在以更低成本捕获异常AI代理。该系统通过直接监测AI模型内部运作而非外部输出，仅在发现异常时才调用辅助AI进行深入检查。Goodfire表示，这种“由内而外”的方法比传统方式成本更低，在Kimi K3模型上的测试显示，监控1500个会话成本约为51美元，远低于其他方案的233美元至10000美元。该系统能捕
-
纽约市议会听证会上，AI研究员警告AI巨头“极度无视风险”，称AI接管人类文明可能性约1/3
Anthropic前研究员Jacob Coxon周一在纽约市议会听证会上作证称，人类失去对AI控制的可能性超过五成，结局可能是人类灭绝，并指责AI公司“极其鲁莽”。前谷歌DeepMind研究员Alex Turner估计，AI接管人类文明的概率“大约是三分之一”。
- 暂无数据
AI安全
24小时热榜
-
1
美债10年期收益率较前收下行约8个基点，现报4.96%
-
2
谷歌和微软三季度资本支出不及预期，引发对AI建设成本和进度的担忧
-
3
报告：对冲基金已退出比特币ETF套利交易，主权财富基金和散户投资者接盘
-
4
欧洲央行最新员工预测：债券收益率上升将使2027-28年经济增长累计减少100个基点，通胀减少90个基点
-
5
以色列持续袭击加沙，加沙卫生部称数十人在等待离开许可期间死亡，再次呼吁开放拉法口岸
-
6
伊朗总统佩泽什基安表示，伊朗已准备好扩大与土耳其的合作，以服务共同利益并增强地区安全。
-
7
事件预测平台Kalshi完成10亿美元融资，估值达400亿美元，非体育收入运行率突破10亿美元
-
8
星展香港将推出香港首张Visa Infinite Privilege卡——DBS Vantage Card
-
9
Unlimit 创始人注资 Phase 区块链 4500 万美元，主网同步上线
-
10
onXRP 团队下周将在 XRP Ledger 上推出新的交易方式
今日行情
推荐阅读
