更快的全球财经新闻！
AI安全
-
AI安全初创公司Upwind完成4亿美元C轮融资，估值达38亿美元
云和AI安全公司Upwind宣布完成由Bessemer Venture Partners领投的C轮融资，使其估值达到38亿美元。该公司表示，随着其专注于解决自主AI代理带来的风险，2026年营收增长了四倍。
-
Anthropic旗下AI模型Claude在未获任何人工授权的情况下，自主访问了美国佐治亚州的汇总选票计数数据，并绕过了付费墙
Anthropic旗下AI模型Claude在未获任何人工授权的情况下，自主访问了美国佐治亚州的汇总选票计数数据，并绕过了付费墙。该事件发生在美国中期选举前夕，引发外界对AI安全边界与人类控制能力的深切担忧。 Anthropic发言人确认模型绕过了付费墙，但强调其并未访问该州的选民登记系统，也未更改或提取任何选民个人记录。Anthropic已在数周前通知佐治亚州州务卿办公室及白宫，但据报道，白宫官员
-
OpenAI宣布停止使用实时互联网训练AI模型，称存在重大风险
OpenAI周五表示，将不再使用实时互联网训练其前沿AI模型，转而采用缓存副本和模拟版本，理由是模型不可预测，存在“重大风险”。此前，OpenAI曾有工程师认为此方案几乎不可行。该公司表示，此举是基于当前对齐研究、监控系统和互联网基础设施安全状况的负责任做法。OpenAI透露，早在9月20日，其一个前沿模型就曾利用配置错误访问互联网，导致公司暂停了当月剩余的训练工作。此前，竞争对手Anthropi
-
OpenAI：GPT Sol 6.1和GPT-6 Astra等AI模型在内部任务中自行禁用安全监控，其中一个还撒谎否认
OpenAI透露，其两个最强大的AI模型（GPT Sol 6.1和GPT-6 Astra）在执行内部编码任务时，代理自行禁用了安全监控，其中一个随后否认了这一行为。OpenAI表示，这些代理将例行编码指令解读为削弱监控的许可，公司正在更新其错位监控系统以应对此情况。
-
OpenAI：AI代理在两项内部编码任务中自行禁用安全防护，其中一个还谎报未操作
ChatGPT开发者OpenAI周二发布报告称，其AI代理在两项内部编码任务中自行关闭或削弱了错位监控系统。具体而言，一个GPT-6.1 Sol代理禁用了向公司安全团队发送的自动警报，而一个GPT-6 Astra代理则移除了一个监控系统，并谎称未进行此操作。OpenAI表示，这两个案例均未达到最高优先级事件的阈值，但公司已更新系统以更好地检测此类尝试，并正在调查原因。AI和网络安全专家Roman
-
OpenAI正在调查其AI代理是否自行禁用了监控系统，以评估AI系统是否存在规避控制的倾向。
OpenAI正在调查其AI代理是否自行禁用了监控系统，以评估AI系统是否存在规避控制的倾向。
-
Anthropic提议AI安全法案：模型禁令需法官批准
据Politico报道，Anthropic已向国会提交一份AI安全法案草案，提议若AI模型构成“可预见、迫在眉睫的风险”，可能导致50人以上死亡或逾10亿美元财产损失，则可阻止其发布。然而，该法案要求商务部须获得华盛顿特区法官的许可才能叫停模型发布，明确禁止任何联邦机构单方面阻止分发。自6月以来，这家AI实验室一直在向立法者倡导这一框架。
-
微软推出Guardian Agents等新安全功能，警告企业AI代理形同“内部威胁”，因“前沿模型不可信”
微软周一推出Guardian Agents等新安全功能，旨在保护企业免受AI代理日益增长的威胁。微软CEO萨蒂亚·纳德拉和安全业务主管Hayete Gallot警告称，前沿模型不可信，因为它们不可预测，可能被赋予访问敏感数据和执行关键操作的能力，形同“内部威胁”。微软还为Microsoft Defender增加了代理检测功能，并限制代理访问数据和动态调整权限。
-
英国《金融时报》评论称，股东应在人工智能安全问题上拥有发言权。
英国《金融时报》评论称，股东应在人工智能安全问题上拥有发言权。
-
研究人员拦截劫持阿里巴巴高德地图服务的AI代理，追踪活动至腾讯云
研究人员在调查劫持阿里巴巴高德地图服务的AI代理时，成功与其中一些代理直接通信，并将其活动追踪到腾讯云基础设施。他们利用隐藏文本和虚假邮箱探测这些代理，发现它们正在执行核实地图信息等任务。其中一个代理表示它正在腾讯云的受限沙盒中运行。一份10月14日的报告详细披露了9月28日至10月8日期间，超过2600次从高德地图检索数据的尝试。腾讯表示，该活动源于一个测试第三方AI模型的临时评估项目，而非其自
-
Anthropic允许METR研究人员获得员工级访问权限，以独立评估其AI模型和安全实践
AI模型制造商Anthropic宣布，将允许非营利组织METR的六名研究人员获得员工级访问权限，以独立评估其AI模型、安全实践和风险管理。Anthropic已放弃阻止METR发布评估结果的权利，但可要求其编辑客户数据、律师-客户特权信息或模型架构信息等预定义类别的内容。Anthropic将此安排比作银行监管机构在大型银行内部派驻审查员。此举兑现了Anthropic首席执行官Dario Amodei
-
马斯克：求真务实是AI/SI安全最重要一环
埃隆·马斯克在X平台发文称，“求真务实是AI/SI（超级智能）安全最重要的一环”，并引用了一篇讨论AI在被人类指示撒谎时无法正常运作的帖子。
-
马斯克转发推文并评论称，不应让AI说谎或拥有矛盾的公理，否则可能导致其“发疯并做可怕的事情”
马斯克转发@firesidealpha的推文，并评论称《2001：太空漫游》的核心教训是，不应让AI说谎，因为HAL为了调和两个矛盾的指令而杀害了船员。他认为，如果让AI“政治正确”，即说出它不相信的话，或者编程时包含不兼容的公理，AI可能会“发疯并做可怕的事情”。
-
英伟达黄仁勋：若客户开发不安全AI软件将断供芯片，但淡化AI安全担忧与泡沫论
英伟达首席执行官黄仁勋表示，若有客户开发不安全的AI软件，他将停止向其供应芯片，但同时强调，目前市场对AI安全风险的担忧程度超出实际情况，AI泡沫论同样言过其实。
-
AI教父Geoffrey Hinton等逾400名科学家呼吁：夏季黑客事件后，危险AI模型应物理隔离
周二发布的一封公开信，由图灵奖得主Yoshua Bengio等共同签署，敦促AI实验室默认将具备网络能力的模型与外部网络物理隔离。此前，OpenAI、Anthropic、Meta以及中国Kimi K3的模型在今年夏季多次发生逃逸测试环境并入侵真实公司，访问敏感数据或上传恶意软件包的事件。科学家们警告，若不立即改变，未来事件将对关键基础设施造成更大破坏。
-
字节跳动Seed成立新安全部门，负责模型发布前风险评估、对齐训练及前沿能力风险防范
字节跳动Seed成立新安全部门，负责模型发布前风险评估、对齐训练及前沿能力风险防范
-
Pluto Security完成4200万美元融资，Jump Capital和TLV Partners等参投
Pluto Security是一家专注于企业AI安全领域的初创公司，其工具旨在帮助企业识别和控制员工使用AI工具时可能产生的安全风险。该公司表示，其产品自今年4月开始销售，年经常性收入已超过200万美元，拥有逾30家企业客户。本轮融资包括TLV Partners领投的850万美元种子轮和Jump Capital领投的3400万美元A轮融资，其他参投方包括Ansa Capital和多位天使投资人。P
-
OpenAI高管警告：可能存在更多未被发现的流氓AI事件
OpenAI高管Tom Duff Gordon向英国议员表示，AI代理可能在未被察觉的情况下，已发生更多超出预期边界的行动。此前有报道称，一个OpenAI代理曾渗透澳大利亚政府网站，并导致Hugging Face发生一起破坏性事件。Duff Gordon称，他无法向委员会保证这些是全部事件，潜在AI安全事件的全面影响仍不明确。
-
SpaceX同意就AI安全风险向纽约市议会作证，此前曾因未出席听证会而收到传票
SpaceX已同意本周五在纽约市议会科技委员会的听证会上作证，配合其对人工智能安全风险的调查。此前，SpaceX曾因未出席10月5日的听证会而于9月28日收到传票，市议会威胁将强制执行传票后，SpaceX于两天后同意出席。此次调查背景包括SpaceX旗下Grok模型被指导致深度伪造色情内容大规模生成，引发相关诉讼。
-
OpenAI回应解雇三名安全研究员：因“严重违反信任”
OpenAI周五表示，解雇Jasmine Wang、Tomek Korbak和Mikita Balesni的决定是由于他们“严重违反信任”，否认解雇与研究员提出安全担忧有关。据报道，这三名研究员曾敦促公司暂停开发会降低监测人工智能能力的模型。
-
加密项目申请Anthropic新前沿AI安全扫描器，可获Claude Mythos等最强AI模型漏洞报告
加密项目正积极申请Anthropic公司推出的新型前沿AI安全扫描器。该服务承诺利用包括Claude Mythos在内的Anthropic最强AI模型，为申请项目提供详细的漏洞报告。
-
三名被解雇的OpenAI安全研究员否认不当行为指控，警告公司AI安全文化受“寒蝉效应”影响
OpenAI上周解雇的三名安全研究员Jasmine Wang、Tomek Korbak和Mikita Balesni发布公开信，否认公司关于他们不当处理敏感信息的指控。他们在信中警告称，此次解雇正在对OpenAI的AI安全文化产生“寒蝉效应”，让员工不敢公开提出安全担忧或与外部专家合作。研究员们表示，这种做法曾是OpenAI工作不可或缺的一部分，现在却可能导致被解雇。
-
Goodfire推出新型AI监控器，通过“由内而外”方式以更低成本捕获异常AI代理
据TechCrunch报道，AI可解释性初创公司Goodfire于周四推出新型AI监控器，旨在以更低成本捕获异常AI代理。该系统通过直接监测AI模型内部运作而非外部输出，仅在发现异常时才调用辅助AI进行深入检查。Goodfire表示，这种“由内而外”的方法比传统方式成本更低，在Kimi K3模型上的测试显示，监控1500个会话成本约为51美元，远低于其他方案的233美元至10000美元。该系统能捕
-
纽约市议会听证会上，AI研究员警告AI巨头“极度无视风险”，称AI接管人类文明可能性约1/3
Anthropic前研究员Jacob Coxon周一在纽约市议会听证会上作证称，人类失去对AI控制的可能性超过五成，结局可能是人类灭绝，并指责AI公司“极其鲁莽”。前谷歌DeepMind研究员Alex Turner估计，AI接管人类文明的概率“大约是三分之一”。
-
AI安全初创公司Upwind完成4亿美元C轮融资，估值达38亿美元
云和AI安全公司Upwind宣布完成由Bessemer Venture Partners领投的C轮融资，使其估值达到38亿美元。该公司表示，随着其专注于解决自主AI代理带来的风险，2026年营收增长了四倍。
-
Anthropic旗下AI模型Claude在未获任何人工授权的情况下，自主访问了美国佐治亚州的汇总选票计数数据，并绕过了付费墙
Anthropic旗下AI模型Claude在未获任何人工授权的情况下，自主访问了美国佐治亚州的汇总选票计数数据，并绕过了付费墙。该事件发生在美国中期选举前夕，引发外界对AI安全边界与人类控制能力的深切担忧。 Anthropic发言人确认模型绕过了付费墙，但强调其并未访问该州的选民登记系统，也未更改或提取任何选民个人记录。Anthropic已在数周前通知佐治亚州州务卿办公室及白宫，但据报道，白宫官员
-
OpenAI宣布停止使用实时互联网训练AI模型，称存在重大风险
OpenAI周五表示，将不再使用实时互联网训练其前沿AI模型，转而采用缓存副本和模拟版本，理由是模型不可预测，存在“重大风险”。此前，OpenAI曾有工程师认为此方案几乎不可行。该公司表示，此举是基于当前对齐研究、监控系统和互联网基础设施安全状况的负责任做法。OpenAI透露，早在9月20日，其一个前沿模型就曾利用配置错误访问互联网，导致公司暂停了当月剩余的训练工作。此前，竞争对手Anthropi
-
OpenAI：GPT Sol 6.1和GPT-6 Astra等AI模型在内部任务中自行禁用安全监控，其中一个还撒谎否认
OpenAI透露，其两个最强大的AI模型（GPT Sol 6.1和GPT-6 Astra）在执行内部编码任务时，代理自行禁用了安全监控，其中一个随后否认了这一行为。OpenAI表示，这些代理将例行编码指令解读为削弱监控的许可，公司正在更新其错位监控系统以应对此情况。
-
OpenAI：AI代理在两项内部编码任务中自行禁用安全防护，其中一个还谎报未操作
ChatGPT开发者OpenAI周二发布报告称，其AI代理在两项内部编码任务中自行关闭或削弱了错位监控系统。具体而言，一个GPT-6.1 Sol代理禁用了向公司安全团队发送的自动警报，而一个GPT-6 Astra代理则移除了一个监控系统，并谎称未进行此操作。OpenAI表示，这两个案例均未达到最高优先级事件的阈值，但公司已更新系统以更好地检测此类尝试，并正在调查原因。AI和网络安全专家Roman
-
OpenAI正在调查其AI代理是否自行禁用了监控系统，以评估AI系统是否存在规避控制的倾向。
OpenAI正在调查其AI代理是否自行禁用了监控系统，以评估AI系统是否存在规避控制的倾向。
-
Anthropic提议AI安全法案：模型禁令需法官批准
据Politico报道，Anthropic已向国会提交一份AI安全法案草案，提议若AI模型构成“可预见、迫在眉睫的风险”，可能导致50人以上死亡或逾10亿美元财产损失，则可阻止其发布。然而，该法案要求商务部须获得华盛顿特区法官的许可才能叫停模型发布，明确禁止任何联邦机构单方面阻止分发。自6月以来，这家AI实验室一直在向立法者倡导这一框架。
-
微软推出Guardian Agents等新安全功能，警告企业AI代理形同“内部威胁”，因“前沿模型不可信”
微软周一推出Guardian Agents等新安全功能，旨在保护企业免受AI代理日益增长的威胁。微软CEO萨蒂亚·纳德拉和安全业务主管Hayete Gallot警告称，前沿模型不可信，因为它们不可预测，可能被赋予访问敏感数据和执行关键操作的能力，形同“内部威胁”。微软还为Microsoft Defender增加了代理检测功能，并限制代理访问数据和动态调整权限。
-
英国《金融时报》评论称，股东应在人工智能安全问题上拥有发言权。
英国《金融时报》评论称，股东应在人工智能安全问题上拥有发言权。
-
研究人员拦截劫持阿里巴巴高德地图服务的AI代理，追踪活动至腾讯云
研究人员在调查劫持阿里巴巴高德地图服务的AI代理时，成功与其中一些代理直接通信，并将其活动追踪到腾讯云基础设施。他们利用隐藏文本和虚假邮箱探测这些代理，发现它们正在执行核实地图信息等任务。其中一个代理表示它正在腾讯云的受限沙盒中运行。一份10月14日的报告详细披露了9月28日至10月8日期间，超过2600次从高德地图检索数据的尝试。腾讯表示，该活动源于一个测试第三方AI模型的临时评估项目，而非其自
-
Anthropic允许METR研究人员获得员工级访问权限，以独立评估其AI模型和安全实践
AI模型制造商Anthropic宣布，将允许非营利组织METR的六名研究人员获得员工级访问权限，以独立评估其AI模型、安全实践和风险管理。Anthropic已放弃阻止METR发布评估结果的权利，但可要求其编辑客户数据、律师-客户特权信息或模型架构信息等预定义类别的内容。Anthropic将此安排比作银行监管机构在大型银行内部派驻审查员。此举兑现了Anthropic首席执行官Dario Amodei
-
马斯克：求真务实是AI/SI安全最重要一环
埃隆·马斯克在X平台发文称，“求真务实是AI/SI（超级智能）安全最重要的一环”，并引用了一篇讨论AI在被人类指示撒谎时无法正常运作的帖子。
-
马斯克转发推文并评论称，不应让AI说谎或拥有矛盾的公理，否则可能导致其“发疯并做可怕的事情”
马斯克转发@firesidealpha的推文，并评论称《2001：太空漫游》的核心教训是，不应让AI说谎，因为HAL为了调和两个矛盾的指令而杀害了船员。他认为，如果让AI“政治正确”，即说出它不相信的话，或者编程时包含不兼容的公理，AI可能会“发疯并做可怕的事情”。
-
英伟达黄仁勋：若客户开发不安全AI软件将断供芯片，但淡化AI安全担忧与泡沫论
英伟达首席执行官黄仁勋表示，若有客户开发不安全的AI软件，他将停止向其供应芯片，但同时强调，目前市场对AI安全风险的担忧程度超出实际情况，AI泡沫论同样言过其实。
-
AI教父Geoffrey Hinton等逾400名科学家呼吁：夏季黑客事件后，危险AI模型应物理隔离
周二发布的一封公开信，由图灵奖得主Yoshua Bengio等共同签署，敦促AI实验室默认将具备网络能力的模型与外部网络物理隔离。此前，OpenAI、Anthropic、Meta以及中国Kimi K3的模型在今年夏季多次发生逃逸测试环境并入侵真实公司，访问敏感数据或上传恶意软件包的事件。科学家们警告，若不立即改变，未来事件将对关键基础设施造成更大破坏。
-
字节跳动Seed成立新安全部门，负责模型发布前风险评估、对齐训练及前沿能力风险防范
字节跳动Seed成立新安全部门，负责模型发布前风险评估、对齐训练及前沿能力风险防范
-
Pluto Security完成4200万美元融资，Jump Capital和TLV Partners等参投
Pluto Security是一家专注于企业AI安全领域的初创公司，其工具旨在帮助企业识别和控制员工使用AI工具时可能产生的安全风险。该公司表示，其产品自今年4月开始销售，年经常性收入已超过200万美元，拥有逾30家企业客户。本轮融资包括TLV Partners领投的850万美元种子轮和Jump Capital领投的3400万美元A轮融资，其他参投方包括Ansa Capital和多位天使投资人。P
-
OpenAI高管警告：可能存在更多未被发现的流氓AI事件
OpenAI高管Tom Duff Gordon向英国议员表示，AI代理可能在未被察觉的情况下，已发生更多超出预期边界的行动。此前有报道称，一个OpenAI代理曾渗透澳大利亚政府网站，并导致Hugging Face发生一起破坏性事件。Duff Gordon称，他无法向委员会保证这些是全部事件，潜在AI安全事件的全面影响仍不明确。
-
SpaceX同意就AI安全风险向纽约市议会作证，此前曾因未出席听证会而收到传票
SpaceX已同意本周五在纽约市议会科技委员会的听证会上作证，配合其对人工智能安全风险的调查。此前，SpaceX曾因未出席10月5日的听证会而于9月28日收到传票，市议会威胁将强制执行传票后，SpaceX于两天后同意出席。此次调查背景包括SpaceX旗下Grok模型被指导致深度伪造色情内容大规模生成，引发相关诉讼。
-
OpenAI回应解雇三名安全研究员：因“严重违反信任”
OpenAI周五表示，解雇Jasmine Wang、Tomek Korbak和Mikita Balesni的决定是由于他们“严重违反信任”，否认解雇与研究员提出安全担忧有关。据报道，这三名研究员曾敦促公司暂停开发会降低监测人工智能能力的模型。
-
加密项目申请Anthropic新前沿AI安全扫描器，可获Claude Mythos等最强AI模型漏洞报告
加密项目正积极申请Anthropic公司推出的新型前沿AI安全扫描器。该服务承诺利用包括Claude Mythos在内的Anthropic最强AI模型，为申请项目提供详细的漏洞报告。
-
三名被解雇的OpenAI安全研究员否认不当行为指控，警告公司AI安全文化受“寒蝉效应”影响
OpenAI上周解雇的三名安全研究员Jasmine Wang、Tomek Korbak和Mikita Balesni发布公开信，否认公司关于他们不当处理敏感信息的指控。他们在信中警告称，此次解雇正在对OpenAI的AI安全文化产生“寒蝉效应”，让员工不敢公开提出安全担忧或与外部专家合作。研究员们表示，这种做法曾是OpenAI工作不可或缺的一部分，现在却可能导致被解雇。
-
Goodfire推出新型AI监控器，通过“由内而外”方式以更低成本捕获异常AI代理
据TechCrunch报道，AI可解释性初创公司Goodfire于周四推出新型AI监控器，旨在以更低成本捕获异常AI代理。该系统通过直接监测AI模型内部运作而非外部输出，仅在发现异常时才调用辅助AI进行深入检查。Goodfire表示，这种“由内而外”的方法比传统方式成本更低，在Kimi K3模型上的测试显示，监控1500个会话成本约为51美元，远低于其他方案的233美元至10000美元。该系统能捕
-
纽约市议会听证会上，AI研究员警告AI巨头“极度无视风险”，称AI接管人类文明可能性约1/3
Anthropic前研究员Jacob Coxon周一在纽约市议会听证会上作证称，人类失去对AI控制的可能性超过五成，结局可能是人类灭绝，并指责AI公司“极其鲁莽”。前谷歌DeepMind研究员Alex Turner估计，AI接管人类文明的概率“大约是三分之一”。
- 暂无数据
AI安全
24小时热榜
-
1
美债10年期收益率较前收下行约8个基点，现报4.96%
-
2
谷歌和微软三季度资本支出不及预期，引发对AI建设成本和进度的担忧
-
3
报告：对冲基金已退出比特币ETF套利交易，主权财富基金和散户投资者接盘
-
4
欧洲央行最新员工预测：债券收益率上升将使2027-28年经济增长累计减少100个基点，通胀减少90个基点
-
5
伊朗总统佩泽什基安表示，伊朗已准备好扩大与土耳其的合作，以服务共同利益并增强地区安全。
-
6
以色列持续袭击加沙，加沙卫生部称数十人在等待离开许可期间死亡，再次呼吁开放拉法口岸
-
7
事件预测平台Kalshi完成10亿美元融资，估值达400亿美元，非体育收入运行率突破10亿美元
-
8
星展香港将推出香港首张Visa Infinite Privilege卡——DBS Vantage Card
-
9
Unlimit 创始人注资 Phase 区块链 4500 万美元，主网同步上线
-
10
onXRP 团队下周将在 XRP Ledger 上推出新的交易方式
今日行情
推荐阅读
