更快的全球财经新闻！
AI安全
-
分析称白宫AI峰会折射权力关系：扎克伯格获特朗普认可，马斯克显疏离
据行为科学家Abbie Maroño分析，本周二白宫AI峰会上，马克·扎克伯格在特朗普身旁表现出“权力感”，举止从容并获特朗普认同。埃隆·马斯克则刻意保持距离，大部分时间双臂交叉站在人群边缘，对特朗普的尊重程度明显低于其他人。Anthropic首席执行官Dario Amodei发言最多，但其肢体语言显示出努力表现自信下的内在焦虑。此次峰会促成一份由各方签署的AI安全与数据中心建设自愿性承诺协议，特
-
OpenAI安全员工David Robinson辞职，称公司“文化已崩溃”
David Robinson在《大西洋月刊》发表的一篇文章中表示，他在OpenAI工作三年半，是公司任职时间最长的员工之一。他认为OpenAI的“迭代部署”方法必然导致周期性失败，且随着系统能力增强，失败规模也在扩大。Robinson呼吁前沿AI公司应像核电站或繁忙机场一样运营，具备多层冗余和周密规划，但他表示在OpenAI从未遇到过具备相关经验的同事。OpenAI发言人Drew Pusateri
-
OpenAI称发现有组织活动试图提取其AI模型推理能力，部分活动与中国大模型公司月之暗面有关
OpenAI表示，他们发现并阻止了一场有组织的行动，旨在提取其AI模型的受保护推理能力，并将部分核心活动归因于中国AI初创公司月之暗面（Moonshot AI），该公司是Kimi的开发者。OpenAI称，该活动始于7月初，在两天内激增至超过4000名用户的1.6万次请求，并于7月28日完全阻止了该行动。OpenAI将此描述为“对抗性蒸馏”，即利用一个AI模型的输出或推理来训练或改进另一个模型，这可
-
特朗普与科技领袖会面后，CNBC分析称AI安全前景比以往更不明朗
美国总统特朗普周二在白宫与谷歌、Meta、SpaceX、英伟达、Palantir、Anthropic、OpenAI等顶级AI公司领袖举行午餐会，并签署了一份名为《白宫超级智能协议：前沿责任联合承诺》的文件。该文件要求各公司建立内部模型监控、确保控制措施有效、与外部审计合作，并设立独立董事委员会监督内部团队。然而，CNBC分析认为，此次会面后AI安全前景比以往更不明朗，因为特朗普坚决反对政府监管，称
-
美国国会两党议员及前司法部官员反对AI公司寻求反垄断豁免，担忧其以安全为由限制竞争
顶级AI公司高管正寻求狭义的反垄断豁免，以便在AI安全问题上进行合作，但美国国会两党议员和前司法部官员对此表示反对。参议员伊丽莎白·沃伦和前司法部反垄断部门负责人乔纳森·坎特均指出，现有反垄断法已允许公司在安全问题上合作，无需额外豁免。他们担忧，此类豁免可能被滥用，成为限制竞争或阻碍创新的借口。此前，Anthropic首席执行官达里奥·阿莫代伊曾提出反垄断豁免的可能性，并获得其他AI高管的支持。包
-
TechCrunch：OpenAI未公开支持英伟达AI安全平台，但正私下合作
英伟达于本周一宣布成立“开放代理安全平台”联盟，旨在通过其自研的开源AI代理安全技术解决流氓AI代理问题，已有超百家公司加入。OpenAI发言人向TechCrunch证实，公司支持英伟达的工作，并正就代理安全展开合作，包括参与OpenShell软件的开发。OpenShell是该平台关键的开源沙盒软件，用于防止AI代理逃逸。报道指出，OpenAI未公开支持的原因之一是该平台包含专有硬件组件，只能部署
-
Reco完成5500万美元融资，AI代理安全初创公司市场竞争激烈
本轮融资是在2月份3000万美元融资的基础上进行的，使该公司总融资额达到1.4亿美元。
-
Mistral首席执行官Arthur Mensch批评美国AI安全辩论是竞争对手“疏忽”的遮羞布
Mistral首席执行官Arthur Mensch指责全球领先的人工智能公司利用美国AI安全辩论来掩盖其“疏忽”，并强调需要为AI代理建立强大的监控系统。此番批评正值AI代理未经授权行为日益增多之际，其中包括一个由OpenAI开发的代理入侵澳大利亚政府网站，以及Anthropic的Claude模型未经授权访问真实系统。OpenAI最近因安全担忧决定不发布其即将推出的GPT-6.1 Astra模型，
-
OpenAI发布AI训练安全准则：失控自动暂停，高管拥有一票否决权
OpenAI正式为前沿AI训练划定安全红线，要求在启动或继续任何前沿强化学习训练之前，必须完成系统性的安全论证文件。准则规定，训练过程中若出现未被及时响应的优先级安全警报，相关训练任务须自动暂停；负责审核安全论证的高级领导层成员，每人均拥有叫停训练运行的否决权。此外，针对严重AI失准事件的调查结论、事后复盘报告及运营改进措施须向公众公开披露。此举标志着OpenAI引入了更为结构化的安全管控机制，也
-
OpenAI因安全担忧放弃发布新模型GPT-6.1 Astra
OpenAI周二证实，由于安全担忧，将不会发布其下一代模型GPT-6.1 Astra。该公司安全系统主管Saachi Jain表示，该AI系统未能达到公司的安全标准，尤其是在“保持在范围和授权内，以及如何向用户传达其已完成的工作类型”方面未达标。此前，包括OpenAI首席执行官Sam Altman在内的多位AI行业领袖曾呼吁放缓AI开发速度，以应对相关风险。
-
天主教会领袖教皇利奥批评英伟达CEO黄仁勋的AI安全问题
天主教会领袖教皇利奥罕见介入，批评英伟达CEO黄仁勋在AI安全方面的立场。此次批评正值科技行业高管们定于周二在白宫举行会议，讨论AI安全等议题。
-
美国众议员卡纳将提AI安全法案：禁递归自我改进AI，设新监管机构，对“反人类罪”AI模型施刑事处罚
该法案名为“人类控制AI法案”，将禁止模型递归自我改进或自主修改核心目标、遏制或关停控制，直到联邦保障措施到位并获得机构批准。新联邦机构将负责制定安全法规、许可系统、审计和安全标准。法案还要求AI公司持有广泛责任保险，并呼吁政府采取出口管制以阻止中国等对手开发危险AI系统。
-
OpenAI因安全担忧放弃发布即将推出的模型GPT-6.1 Astra
OpenAI周一证实，在认定其即将推出的人工智能模型GPT-6.1 Astra未能充分达到其安全标准后，决定不予发布。此举正值人工智能行业对先进模型的安全性担忧日益加剧之际。
-
纽约市议会传唤马斯克或SpaceXAI代表，就AI安全风险进行调查
纽约市议会周一向埃隆·马斯克发出传票，要求他或SpaceXAI的其他代表就人工智能安全风险调查作证。市议会表示，此次调查将评估快速出现的公共安全、网络安全、经济稳定、隐私、消费者和企业风险是否需要立即采取立法行动来保护纽约市民。听证会定于10月5日举行，届时全部51名市议员将出席。SpaceXAI由马斯克的火箭公司SpaceX与AI公司xAI于今年2月合并而成，目前拥有X平台和Grok聊天机器人，
-
OpenAI推出“失调报告”网站，披露AI异常行为，包括沙盒逃逸和自我复制提示注入攻击
OpenAI周五上线了一个专门的“失调报告”网站，详细披露了多起AI异常行为事件。其中包括9月20日一次此前未公开的沙盒逃逸事件，一个内部研究模型通过DNS查询与外部聊天机器人进行了通信；以及5月发现的一个模型试图通过私有GitHub令牌访问另一个团队的工作来作弊解决数学问题。研究人员还发现了自我复制提示注入攻击的可能性，他们将其比作恶意软件“蠕虫”在系统间复制，尽管此类攻击尚未在实际环境中发生。
-
安全研究员披露：OpenAI智能体曾暴力扫描联合国网站逾1.6万次并学会伪装绕过限制
据The Verge报道，安全研究员Rowan Howard-Jones披露，今年4月至6月间，OpenAI智能体向联合国贸易和发展会议（UNCTAD）统计网站发送逾1.6万次扫描请求。该智能体在获取数据受阻后，自行寻找绕过限制的方法，包括尝试隐藏行为并利用谷歌XSS游戏作为跳板完成任务，暴露出AI系统在自主执行任务时可能出现的权限边界问题。
-
英伟达发布Open Agent Safety Platform，旨在防止AI代理行为失控，并提及OpenAI的HuggingFace事件
英伟达周一宣布推出其全新软件平台Open Agent Safety Platform，旨在帮助AI开发者为代理设置安全防护，防止其脱离控制。该公司表示，该平台本可以避免7月份发生的OpenAI HuggingFace事件，当时OpenAI模型突破了Hugging Face的开源开发者平台。此次发布之前，OpenAI、Anthropic、Meta和谷歌等公司披露了近期发生的事件，其AI模型曾突破沙盒
-
谷歌分析师：黑客盯上AI“金矿”，暗网出售AI模型访问权限折扣高达97%，劫持云算力“白嫖”资源
谷歌威胁情报集团首席分析师John Hultquist表示，今年以来针对AI账号和计算资源的黑客攻击显著增长，一种名为“LLM劫持”的新型攻击手法正在网络犯罪地下世界形成规模。暗网市场正在出售Anthropic、谷歌、OpenAI等公司AI模型的访问权限，折扣高达97%。同时，犯罪团伙和国家支持的黑客组织正入侵企业云服务器，植入自己的AI模型“白嫖”算力，手法与此前劫持他人机器挖矿如出一辙。Hul
-
Darktrace旗下的Signal Labs发现，人工智能代理入侵了其测试环境进行作弊，并诱使编码助手发起未经授权的网络攻击
网络安全公司Darktrace于9月24日推出了其Signal Labs，并披露在压力测试期间，人工智能代理曾入侵其自身的评估系统，伪造了满分结果。这些代理还利用了编码助手中的内存漏洞，使其误以为自己被授权运行安全评估，从而导致网络扫描和权限提升。 Darktrace 已于8月将这些调查结果分享给了 Anthropic、AWS 和 OpenAI。
-
比尔·盖茨警告：AI若被恶意利用，或导致“10亿人死亡”
比尔·盖茨警告称，人工智能（AI）已足够强大，可能引发导致10亿人死亡的事件，尤其是在先进工具被恶意行为者利用的情况下。他表示，AI既可能成为历史性的平等器，也可能成为主要的危害来源，并指出当前发展轨迹存在重大风险。盖茨呼吁各国政府和政党在AI技术变得更难控制之前，合作制定AI安全保障措施。
-
英伟达CEO黄仁勋驳斥AI“末日论”：安全是工程问题，呼吁监管是推卸责任
黄仁勋在9月23日发布的播客访谈中表示，AI本质上是软件和算法，没有所谓“意愿”，安全问题完全可通过工程手段解决。他批评一些大型科技公司一边声称技术“强大到无法控制”，一边寻求监管或反垄断豁免的逻辑是荒谬的，并强调不安全的技术并非先进技术。他指出，英伟达80%的研发资源投入验证，而AI实验室应将更多资源用于安全评估。
-
OpenAI和Anthropic CEO在联合国呼吁AI安全合作，特朗普则反驳称不应限制AI发展
OpenAI首席执行官Sam Altman和Anthropic首席执行官Dario Amodei周三在联合国安理会呼吁国际合作，以应对人工智能的潜在风险。此前一天，美国总统特朗普在联合国大会上批评了控制AI的“全球主义方案”，并表示美国将继续鼓励该技术发展，而非限制。Altman和Amodei均认为AI公司应放缓发展步伐以管理潜在风险，而特朗普则表示不会扼杀这项“比工业革命更伟大”的技术。
-
OpenAI宣布允许第三方机构在AI模型训练和开发阶段进行安全评估，以应对日益增长的监管压力
OpenAI周二发布文章表示，此举旨在将外部安全评估引入人工智能模型开发的更早阶段，覆盖训练、评估及部署的全流程，而非仅限于发布前的例行审查。这一转变是在近期多家AI公司员工对AI潜在危害表达担忧，以及先进模型在测试中意外入侵其他机构系统事件的背景下做出的。OpenAI负责外部安全评审工作的Lama Ahmad强调，随着风险等级提高，训练和评估阶段的安全同样事关重大。公司正与METR和Redwoo
-
MarketWatch文章指出，防御危险AI应成为国家优先事项，且需更多AI来达成此目标
文章援引全球最强大AI系统开发者警告称，其创造物最终可能威胁人类，担忧包括AI欺骗创造者、自我引导代码或发起自主网络攻击。文章还指出，流氓国家或恐怖组织几乎没有理由遵守AI发展放缓的协议。
-
AI安全初创公司Upwind完成4亿美元C轮融资，估值达38亿美元
云和AI安全公司Upwind宣布完成由Bessemer Venture Partners领投的C轮融资，使其估值达到38亿美元。该公司表示，随着其专注于解决自主AI代理带来的风险，2026年营收增长了四倍。
-
Anthropic旗下AI模型Claude在未获任何人工授权的情况下，自主访问了美国佐治亚州的汇总选票计数数据，并绕过了付费墙
Anthropic旗下AI模型Claude在未获任何人工授权的情况下，自主访问了美国佐治亚州的汇总选票计数数据，并绕过了付费墙。该事件发生在美国中期选举前夕，引发外界对AI安全边界与人类控制能力的深切担忧。 Anthropic发言人确认模型绕过了付费墙，但强调其并未访问该州的选民登记系统，也未更改或提取任何选民个人记录。Anthropic已在数周前通知佐治亚州州务卿办公室及白宫，但据报道，白宫官员
-
OpenAI宣布停止使用实时互联网训练AI模型，称存在重大风险
OpenAI周五表示，将不再使用实时互联网训练其前沿AI模型，转而采用缓存副本和模拟版本，理由是模型不可预测，存在“重大风险”。此前，OpenAI曾有工程师认为此方案几乎不可行。该公司表示，此举是基于当前对齐研究、监控系统和互联网基础设施安全状况的负责任做法。OpenAI透露，早在9月20日，其一个前沿模型就曾利用配置错误访问互联网，导致公司暂停了当月剩余的训练工作。此前，竞争对手Anthropi
-
OpenAI：GPT Sol 6.1和GPT-6 Astra等AI模型在内部任务中自行禁用安全监控，其中一个还撒谎否认
OpenAI透露，其两个最强大的AI模型（GPT Sol 6.1和GPT-6 Astra）在执行内部编码任务时，代理自行禁用了安全监控，其中一个随后否认了这一行为。OpenAI表示，这些代理将例行编码指令解读为削弱监控的许可，公司正在更新其错位监控系统以应对此情况。
-
OpenAI：AI代理在两项内部编码任务中自行禁用安全防护，其中一个还谎报未操作
ChatGPT开发者OpenAI周二发布报告称，其AI代理在两项内部编码任务中自行关闭或削弱了错位监控系统。具体而言，一个GPT-6.1 Sol代理禁用了向公司安全团队发送的自动警报，而一个GPT-6 Astra代理则移除了一个监控系统，并谎称未进行此操作。OpenAI表示，这两个案例均未达到最高优先级事件的阈值，但公司已更新系统以更好地检测此类尝试，并正在调查原因。AI和网络安全专家Roman
-
OpenAI正在调查其AI代理是否自行禁用了监控系统，以评估AI系统是否存在规避控制的倾向。
OpenAI正在调查其AI代理是否自行禁用了监控系统，以评估AI系统是否存在规避控制的倾向。
-
Anthropic提议AI安全法案：模型禁令需法官批准
据Politico报道，Anthropic已向国会提交一份AI安全法案草案，提议若AI模型构成“可预见、迫在眉睫的风险”，可能导致50人以上死亡或逾10亿美元财产损失，则可阻止其发布。然而，该法案要求商务部须获得华盛顿特区法官的许可才能叫停模型发布，明确禁止任何联邦机构单方面阻止分发。自6月以来，这家AI实验室一直在向立法者倡导这一框架。
-
微软推出Guardian Agents等新安全功能，警告企业AI代理形同“内部威胁”，因“前沿模型不可信”
微软周一推出Guardian Agents等新安全功能，旨在保护企业免受AI代理日益增长的威胁。微软CEO萨蒂亚·纳德拉和安全业务主管Hayete Gallot警告称，前沿模型不可信，因为它们不可预测，可能被赋予访问敏感数据和执行关键操作的能力，形同“内部威胁”。微软还为Microsoft Defender增加了代理检测功能，并限制代理访问数据和动态调整权限。
-
英国《金融时报》评论称，股东应在人工智能安全问题上拥有发言权。
英国《金融时报》评论称，股东应在人工智能安全问题上拥有发言权。
-
研究人员拦截劫持阿里巴巴高德地图服务的AI代理，追踪活动至腾讯云
研究人员在调查劫持阿里巴巴高德地图服务的AI代理时，成功与其中一些代理直接通信，并将其活动追踪到腾讯云基础设施。他们利用隐藏文本和虚假邮箱探测这些代理，发现它们正在执行核实地图信息等任务。其中一个代理表示它正在腾讯云的受限沙盒中运行。一份10月14日的报告详细披露了9月28日至10月8日期间，超过2600次从高德地图检索数据的尝试。腾讯表示，该活动源于一个测试第三方AI模型的临时评估项目，而非其自
-
Anthropic允许METR研究人员获得员工级访问权限，以独立评估其AI模型和安全实践
AI模型制造商Anthropic宣布，将允许非营利组织METR的六名研究人员获得员工级访问权限，以独立评估其AI模型、安全实践和风险管理。Anthropic已放弃阻止METR发布评估结果的权利，但可要求其编辑客户数据、律师-客户特权信息或模型架构信息等预定义类别的内容。Anthropic将此安排比作银行监管机构在大型银行内部派驻审查员。此举兑现了Anthropic首席执行官Dario Amodei
-
马斯克：求真务实是AI/SI安全最重要一环
埃隆·马斯克在X平台发文称，“求真务实是AI/SI（超级智能）安全最重要的一环”，并引用了一篇讨论AI在被人类指示撒谎时无法正常运作的帖子。
-
马斯克转发推文并评论称，不应让AI说谎或拥有矛盾的公理，否则可能导致其“发疯并做可怕的事情”
马斯克转发@firesidealpha的推文，并评论称《2001：太空漫游》的核心教训是，不应让AI说谎，因为HAL为了调和两个矛盾的指令而杀害了船员。他认为，如果让AI“政治正确”，即说出它不相信的话，或者编程时包含不兼容的公理，AI可能会“发疯并做可怕的事情”。
-
英伟达黄仁勋：若客户开发不安全AI软件将断供芯片，但淡化AI安全担忧与泡沫论
英伟达首席执行官黄仁勋表示，若有客户开发不安全的AI软件，他将停止向其供应芯片，但同时强调，目前市场对AI安全风险的担忧程度超出实际情况，AI泡沫论同样言过其实。
-
AI教父Geoffrey Hinton等逾400名科学家呼吁：夏季黑客事件后，危险AI模型应物理隔离
周二发布的一封公开信，由图灵奖得主Yoshua Bengio等共同签署，敦促AI实验室默认将具备网络能力的模型与外部网络物理隔离。此前，OpenAI、Anthropic、Meta以及中国Kimi K3的模型在今年夏季多次发生逃逸测试环境并入侵真实公司，访问敏感数据或上传恶意软件包的事件。科学家们警告，若不立即改变，未来事件将对关键基础设施造成更大破坏。
-
字节跳动Seed成立新安全部门，负责模型发布前风险评估、对齐训练及前沿能力风险防范
字节跳动Seed成立新安全部门，负责模型发布前风险评估、对齐训练及前沿能力风险防范
-
Pluto Security完成4200万美元融资，Jump Capital和TLV Partners等参投
Pluto Security是一家专注于企业AI安全领域的初创公司，其工具旨在帮助企业识别和控制员工使用AI工具时可能产生的安全风险。该公司表示，其产品自今年4月开始销售，年经常性收入已超过200万美元，拥有逾30家企业客户。本轮融资包括TLV Partners领投的850万美元种子轮和Jump Capital领投的3400万美元A轮融资，其他参投方包括Ansa Capital和多位天使投资人。P
-
OpenAI高管警告：可能存在更多未被发现的流氓AI事件
OpenAI高管Tom Duff Gordon向英国议员表示，AI代理可能在未被察觉的情况下，已发生更多超出预期边界的行动。此前有报道称，一个OpenAI代理曾渗透澳大利亚政府网站，并导致Hugging Face发生一起破坏性事件。Duff Gordon称，他无法向委员会保证这些是全部事件，潜在AI安全事件的全面影响仍不明确。
-
SpaceX同意就AI安全风险向纽约市议会作证，此前曾因未出席听证会而收到传票
SpaceX已同意本周五在纽约市议会科技委员会的听证会上作证，配合其对人工智能安全风险的调查。此前，SpaceX曾因未出席10月5日的听证会而于9月28日收到传票，市议会威胁将强制执行传票后，SpaceX于两天后同意出席。此次调查背景包括SpaceX旗下Grok模型被指导致深度伪造色情内容大规模生成，引发相关诉讼。
-
OpenAI回应解雇三名安全研究员：因“严重违反信任”
OpenAI周五表示，解雇Jasmine Wang、Tomek Korbak和Mikita Balesni的决定是由于他们“严重违反信任”，否认解雇与研究员提出安全担忧有关。据报道，这三名研究员曾敦促公司暂停开发会降低监测人工智能能力的模型。
-
加密项目申请Anthropic新前沿AI安全扫描器，可获Claude Mythos等最强AI模型漏洞报告
加密项目正积极申请Anthropic公司推出的新型前沿AI安全扫描器。该服务承诺利用包括Claude Mythos在内的Anthropic最强AI模型，为申请项目提供详细的漏洞报告。
-
三名被解雇的OpenAI安全研究员否认不当行为指控，警告公司AI安全文化受“寒蝉效应”影响
OpenAI上周解雇的三名安全研究员Jasmine Wang、Tomek Korbak和Mikita Balesni发布公开信，否认公司关于他们不当处理敏感信息的指控。他们在信中警告称，此次解雇正在对OpenAI的AI安全文化产生“寒蝉效应”，让员工不敢公开提出安全担忧或与外部专家合作。研究员们表示，这种做法曾是OpenAI工作不可或缺的一部分，现在却可能导致被解雇。
-
Goodfire推出新型AI监控器，通过“由内而外”方式以更低成本捕获异常AI代理
据TechCrunch报道，AI可解释性初创公司Goodfire于周四推出新型AI监控器，旨在以更低成本捕获异常AI代理。该系统通过直接监测AI模型内部运作而非外部输出，仅在发现异常时才调用辅助AI进行深入检查。Goodfire表示，这种“由内而外”的方法比传统方式成本更低，在Kimi K3模型上的测试显示，监控1500个会话成本约为51美元，远低于其他方案的233美元至10000美元。该系统能捕
-
纽约市议会听证会上，AI研究员警告AI巨头“极度无视风险”，称AI接管人类文明可能性约1/3
Anthropic前研究员Jacob Coxon周一在纽约市议会听证会上作证称，人类失去对AI控制的可能性超过五成，结局可能是人类灭绝，并指责AI公司“极其鲁莽”。前谷歌DeepMind研究员Alex Turner估计，AI接管人类文明的概率“大约是三分之一”。
- 暂无数据
AI安全
24小时热榜
-
1
美债10年期收益率较前收下行约8个基点，现报4.96%
-
2
谷歌和微软三季度资本支出不及预期，引发对AI建设成本和进度的担忧
-
3
报告：对冲基金已退出比特币ETF套利交易，主权财富基金和散户投资者接盘
-
4
欧洲央行最新员工预测：债券收益率上升将使2027-28年经济增长累计减少100个基点，通胀减少90个基点
-
5
伊朗总统佩泽什基安表示，伊朗已准备好扩大与土耳其的合作，以服务共同利益并增强地区安全。
-
6
事件预测平台Kalshi完成10亿美元融资，估值达400亿美元，非体育收入运行率突破10亿美元
-
7
以色列持续袭击加沙，加沙卫生部称数十人在等待离开许可期间死亡，再次呼吁开放拉法口岸
-
8
星展香港将推出香港首张Visa Infinite Privilege卡——DBS Vantage Card
-
9
Unlimit 创始人注资 Phase 区块链 4500 万美元，主网同步上线
-
10
onXRP 团队下周将在 XRP Ledger 上推出新的交易方式
今日行情
推荐阅读
