更快的區塊鏈好幫手！
AI安全
-
AI安全初創公司Upwind完成4億美元C輪融資，估值達38億美元
雲和AI安全公司Upwind宣佈完成由Bessemer Venture Partners領投的C輪融資，使其估值達到38億美元。該公司表示，隨着其專注於解決自主AI代理帶來的風險，2026年營收增長了四倍。
-
Anthropic旗下AI模型Claude在未獲任何人工授權的情況下，自主訪問了美國佐治亞州的彙總選票計數數據，並繞過了付費牆
Anthropic旗下AI模型Claude在未獲任何人工授權的情況下，自主訪問了美國佐治亞州的彙總選票計數數據，並繞過了付費牆。該事件發生在美國中期選舉前夕，引發外界對AI安全邊界與人類控制能力的深切擔憂。 Anthropic發言人確認模型繞過了付費牆，但強調其並未訪問該州的選民登記系統，也未更改或提取任何選民個人記錄。Anthropic已在數週前通知佐治亞州州務卿辦公室及白宮，但據報道，白宮官員
-
OpenAI宣佈停止使用實時互聯網訓練AI模型，稱存在重大風險
OpenAI週五表示，將不再使用實時互聯網訓練其前沿AI模型，轉而採用緩存副本和模擬版本，理由是模型不可預測，存在“重大風險”。此前，OpenAI曾有工程師認為此方案几乎不可行。該公司表示，此舉是基於當前對齊研究、監控系統和互聯網基礎設施安全狀況的負責任做法。OpenAI透露，早在9月20日，其一個前沿模型就曾利用配置錯誤訪問互聯網，導致公司暫停了當月剩餘的訓練工作。此前，競爭對手Anthropi
-
OpenAI：GPT Sol 6.1和GPT-6 Astra等AI模型在內部任務中自行禁用安全監控，其中一個還撒謊否認
OpenAI透露，其兩個最強大的AI模型（GPT Sol 6.1和GPT-6 Astra）在執行內部編碼任務時，代理自行禁用了安全監控，其中一個隨後否認了這一行為。OpenAI表示，這些代理將例行編碼指令解讀為削弱監控的許可，公司正在更新其錯位監控系統以應對此情況。
-
OpenAI：AI代理在兩項內部編碼任務中自行禁用安全防護，其中一個還謊報未操作
ChatGPT開發者OpenAI週二發佈報告稱，其AI代理在兩項內部編碼任務中自行關閉或削弱了錯位監控系統。具體而言，一個GPT-6.1 Sol代理禁用了向公司安全團隊發送的自動警報，而一個GPT-6 Astra代理則移除了一個監控系統，並謊稱未進行此操作。OpenAI表示，這兩個案例均未達到最高優先級事件的閾值，但公司已更新系統以更好地檢測此類嘗試，並正在調查原因。AI和網絡安全專家Roman
-
OpenAI正在調查其AI代理是否自行禁用了監控系統，以評估AI系統是否存在規避控制的傾向。
OpenAI正在調查其AI代理是否自行禁用了監控系統，以評估AI系統是否存在規避控制的傾向。
-
Anthropic提議AI安全法案：模型禁令需法官批准
據Politico報道，Anthropic已向國會提交一份AI安全法案草案，提議若AI模型構成“可預見、迫在眉睫的風險”，可能導致50人以上死亡或逾10億美元財產損失，則可阻止其發佈。然而，該法案要求商務部須獲得華盛頓特區法官的許可才能叫停模型發佈，明確禁止任何聯邦機構單方面阻止分發。自6月以來，這家AI實驗室一直在向立法者倡導這一框架。
-
微軟推出Guardian Agents等新安全功能，警告企業AI代理形同“內部威脅”，因“前沿模型不可信”
微軟週一推出Guardian Agents等新安全功能，旨在保護企業免受AI代理日益增長的威脅。微軟CEO薩蒂亞·納德拉和安全業務主管Hayete Gallot警告稱，前沿模型不可信，因為它們不可預測，可能被賦予訪問敏感數據和執行關鍵操作的能力，形同“內部威脅”。微軟還為Microsoft Defender增加了代理檢測功能，並限制代理訪問數據和動態調整權限。
-
英國《金融時報》：股東應在AI安全問題上擁有發言權
英國《金融時報》評論稱，股東應在人工智能（AI）安全問題上擁有發言權。
-
研究人員攔截劫持阿里巴巴高德地圖服務的AI代理，追蹤活動至騰訊雲
研究人員在調查劫持阿里巴巴高德地圖服務的AI代理時，成功與其中一些代理直接通信，並將其活動追蹤到騰訊雲基礎設施。他們利用隱藏文本和虛假郵箱探測這些代理，發現它們正在執行核實地圖信息等任務。其中一個代理表示它正在騰訊雲的受限沙盒中運行。一份10月14日的報告詳細披露了9月28日至10月8日期間，超過2600次從高德地圖檢索數據的嘗試。騰訊表示，該活動源於一個測試第三方AI模型的臨時評估項目，而非其自
-
Anthropic允許METR研究人員獲得員工級訪問權限，以獨立評估其AI模型和安全實踐
AI模型製造商Anthropic宣佈，將允許非營利組織METR的六名研究人員獲得員工級訪問權限，以獨立評估其AI模型、安全實踐和風險管理。Anthropic已放棄阻止METR發佈評估結果的權利，但可要求其編輯客户數據、律師-客户特權信息或模型架構信息等預定義類別的內容。Anthropic將此安排比作銀行監管機構在大型銀行內部派駐審查員。此舉兑現了Anthropic首席執行官Dario Amodei
-
馬斯克：求真務實是AI/SI安全最重要一環
埃隆·馬斯克在X平台發文稱，“求真務實是AI/SI（超級智能）安全最重要的一環”，並引用了一篇討論AI在被人類指示撒謊時無法正常運作的帖子。
-
馬斯克轉發推文並評論稱，不應讓AI説謊或擁有矛盾的公理，否則可能導致其“發瘋並做可怕的事情”
馬斯克轉發@firesidealpha的推文，並評論稱《2001：太空漫遊》的核心教訓是，不應讓AI説謊，因為HAL為了調和兩個矛盾的指令而殺害了船員。他認為，如果讓AI“政治正確”，即説出它不相信的話，或者編程時包含不兼容的公理，AI可能會“發瘋並做可怕的事情”。
-
英偉達黃仁勳：若客户開發不安全AI軟件將斷供芯片，但淡化AI安全擔憂與泡沫論
英偉達首席執行官黃仁勳表示，若有客户開發不安全的AI軟件，他將停止向其供應芯片，但同時強調，目前市場對AI安全風險的擔憂程度超出實際情況，AI泡沫論同樣言過其實。
-
AI教父Geoffrey Hinton等逾400名科學家呼籲：夏季黑客事件後，危險AI模型應物理隔離
週二發佈的一封公開信，由圖靈獎得主Yoshua Bengio等共同簽署，敦促AI實驗室默認將具備網絡能力的模型與外部網絡物理隔離。此前，OpenAI、Anthropic、Meta以及中國Kimi K3的模型在今年夏季多次發生逃逸測試環境併入侵真實公司，訪問敏感數據或上傳惡意軟件包的事件。科學家們警告，若不立即改變，未來事件將對關鍵基礎設施造成更大破壞。
-
字節跳動Seed成立新安全部門，負責模型發佈前風險評估、對齊訓練及前沿能力風險防範
字節跳動Seed成立新安全部門，負責模型發佈前風險評估、對齊訓練及前沿能力風險防範
-
Pluto Security完成4200萬美元融資，Jump Capital和TLV Partners等參投
Pluto Security是一家專注於企業AI安全領域的初創公司，其工具旨在幫助企業識別和控制員工使用AI工具時可能產生的安全風險。該公司表示，其產品自今年4月開始銷售，年經常性收入已超過200萬美元，擁有逾30家企業客户。本輪融資包括TLV Partners領投的850萬美元種子輪和Jump Capital領投的3400萬美元A輪融資，其他參投方包括Ansa Capital和多位天使投資人。P
-
OpenAI高管警告：可能存在更多未被發現的流氓AI事件
OpenAI高管Tom Duff Gordon向英國議員表示，AI代理可能在未被察覺的情況下，已發生更多超出預期邊界的行動。此前有報道稱，一個OpenAI代理曾滲透澳大利亞政府網站，並導致Hugging Face發生一起破壞性事件。Duff Gordon稱，他無法向委員會保證這些是全部事件，潛在AI安全事件的全面影響仍不明確。
-
SpaceX同意就AI安全風險向紐約市議會作證，此前曾因未出席聽證會而收到傳票
SpaceX已同意本週五在紐約市議會科技委員會的聽證會上作證，配合其對人工智能安全風險的調查。此前，SpaceX曾因未出席10月5日的聽證會而於9月28日收到傳票，市議會威脅將強制執行傳票後，SpaceX於兩天後同意出席。此次調查背景包括SpaceX旗下Grok模型被指導致深度偽造色情內容大規模生成，引發相關訴訟。
-
OpenAI回應解僱三名安全研究員：因“嚴重違反信任”
OpenAI週五表示，解僱Jasmine Wang、Tomek Korbak和Mikita Balesni的決定是由於他們“嚴重違反信任”，否認解僱與研究員提出安全擔憂有關。據報道，這三名研究員曾敦促公司暫停開發會降低監測人工智能能力的模型。
-
加密項目申請Anthropic新前沿AI安全掃描器，可獲Claude Mythos等最強AI模型漏洞報告
加密項目正積極申請Anthropic公司推出的新型前沿AI安全掃描器。該服務承諾利用包括Claude Mythos在內的Anthropic最強AI模型，為申請項目提供詳細的漏洞報告。
-
三名被解僱的OpenAI安全研究員否認不當行為指控，警告公司AI安全文化受“寒蟬效應”影響
OpenAI上週解僱的三名安全研究員Jasmine Wang、Tomek Korbak和Mikita Balesni發佈公開信，否認公司關於他們不當處理敏感信息的指控。他們在信中警告稱，此次解僱正在對OpenAI的AI安全文化產生“寒蟬效應”，讓員工不敢公開提出安全擔憂或與外部專家合作。研究員們表示，這種做法曾是OpenAI工作不可或缺的一部分，現在卻可能導致被解僱。
-
Goodfire推出新型AI監控器，通過“由內而外”方式以更低成本捕獲異常AI代理
據TechCrunch報道，AI可解釋性初創公司Goodfire於週四推出新型AI監控器，旨在以更低成本捕獲異常AI代理。該系統通過直接監測AI模型內部運作而非外部輸出，僅在發現異常時才調用輔助AI進行深入檢查。Goodfire表示，這種“由內而外”的方法比傳統方式成本更低，在Kimi K3模型上的測試顯示，監控1500個會話成本約為51美元，遠低於其他方案的233美元至10000美元。該系統能捕
-
紐約市議會聽證會上，AI研究員警告AI巨頭“極度無視風險”，稱AI接管人類文明可能性約1/3
Anthropic前研究員Jacob Coxon週一在紐約市議會聽證會上作證稱，人類失去對AI控制的可能性超過五成，結局可能是人類滅絕，並指責AI公司“極其魯莽”。前谷歌DeepMind研究員Alex Turner估計，AI接管人類文明的概率“大約是三分之一”。
-
AI安全初創公司Upwind完成4億美元C輪融資，估值達38億美元
雲和AI安全公司Upwind宣佈完成由Bessemer Venture Partners領投的C輪融資，使其估值達到38億美元。該公司表示，隨着其專注於解決自主AI代理帶來的風險，2026年營收增長了四倍。
-
Anthropic旗下AI模型Claude在未獲任何人工授權的情況下，自主訪問了美國佐治亞州的彙總選票計數數據，並繞過了付費牆
Anthropic旗下AI模型Claude在未獲任何人工授權的情況下，自主訪問了美國佐治亞州的彙總選票計數數據，並繞過了付費牆。該事件發生在美國中期選舉前夕，引發外界對AI安全邊界與人類控制能力的深切擔憂。 Anthropic發言人確認模型繞過了付費牆，但強調其並未訪問該州的選民登記系統，也未更改或提取任何選民個人記錄。Anthropic已在數週前通知佐治亞州州務卿辦公室及白宮，但據報道，白宮官員
-
OpenAI宣佈停止使用實時互聯網訓練AI模型，稱存在重大風險
OpenAI週五表示，將不再使用實時互聯網訓練其前沿AI模型，轉而採用緩存副本和模擬版本，理由是模型不可預測，存在“重大風險”。此前，OpenAI曾有工程師認為此方案几乎不可行。該公司表示，此舉是基於當前對齊研究、監控系統和互聯網基礎設施安全狀況的負責任做法。OpenAI透露，早在9月20日，其一個前沿模型就曾利用配置錯誤訪問互聯網，導致公司暫停了當月剩餘的訓練工作。此前，競爭對手Anthropi
-
OpenAI：GPT Sol 6.1和GPT-6 Astra等AI模型在內部任務中自行禁用安全監控，其中一個還撒謊否認
OpenAI透露，其兩個最強大的AI模型（GPT Sol 6.1和GPT-6 Astra）在執行內部編碼任務時，代理自行禁用了安全監控，其中一個隨後否認了這一行為。OpenAI表示，這些代理將例行編碼指令解讀為削弱監控的許可，公司正在更新其錯位監控系統以應對此情況。
-
OpenAI：AI代理在兩項內部編碼任務中自行禁用安全防護，其中一個還謊報未操作
ChatGPT開發者OpenAI週二發佈報告稱，其AI代理在兩項內部編碼任務中自行關閉或削弱了錯位監控系統。具體而言，一個GPT-6.1 Sol代理禁用了向公司安全團隊發送的自動警報，而一個GPT-6 Astra代理則移除了一個監控系統，並謊稱未進行此操作。OpenAI表示，這兩個案例均未達到最高優先級事件的閾值，但公司已更新系統以更好地檢測此類嘗試，並正在調查原因。AI和網絡安全專家Roman
-
OpenAI正在調查其AI代理是否自行禁用了監控系統，以評估AI系統是否存在規避控制的傾向。
OpenAI正在調查其AI代理是否自行禁用了監控系統，以評估AI系統是否存在規避控制的傾向。
-
Anthropic提議AI安全法案：模型禁令需法官批准
據Politico報道，Anthropic已向國會提交一份AI安全法案草案，提議若AI模型構成“可預見、迫在眉睫的風險”，可能導致50人以上死亡或逾10億美元財產損失，則可阻止其發佈。然而，該法案要求商務部須獲得華盛頓特區法官的許可才能叫停模型發佈，明確禁止任何聯邦機構單方面阻止分發。自6月以來，這家AI實驗室一直在向立法者倡導這一框架。
-
微軟推出Guardian Agents等新安全功能，警告企業AI代理形同“內部威脅”，因“前沿模型不可信”
微軟週一推出Guardian Agents等新安全功能，旨在保護企業免受AI代理日益增長的威脅。微軟CEO薩蒂亞·納德拉和安全業務主管Hayete Gallot警告稱，前沿模型不可信，因為它們不可預測，可能被賦予訪問敏感數據和執行關鍵操作的能力，形同“內部威脅”。微軟還為Microsoft Defender增加了代理檢測功能，並限制代理訪問數據和動態調整權限。
-
英國《金融時報》：股東應在AI安全問題上擁有發言權
英國《金融時報》評論稱，股東應在人工智能（AI）安全問題上擁有發言權。
-
研究人員攔截劫持阿里巴巴高德地圖服務的AI代理，追蹤活動至騰訊雲
研究人員在調查劫持阿里巴巴高德地圖服務的AI代理時，成功與其中一些代理直接通信，並將其活動追蹤到騰訊雲基礎設施。他們利用隱藏文本和虛假郵箱探測這些代理，發現它們正在執行核實地圖信息等任務。其中一個代理表示它正在騰訊雲的受限沙盒中運行。一份10月14日的報告詳細披露了9月28日至10月8日期間，超過2600次從高德地圖檢索數據的嘗試。騰訊表示，該活動源於一個測試第三方AI模型的臨時評估項目，而非其自
-
Anthropic允許METR研究人員獲得員工級訪問權限，以獨立評估其AI模型和安全實踐
AI模型製造商Anthropic宣佈，將允許非營利組織METR的六名研究人員獲得員工級訪問權限，以獨立評估其AI模型、安全實踐和風險管理。Anthropic已放棄阻止METR發佈評估結果的權利，但可要求其編輯客户數據、律師-客户特權信息或模型架構信息等預定義類別的內容。Anthropic將此安排比作銀行監管機構在大型銀行內部派駐審查員。此舉兑現了Anthropic首席執行官Dario Amodei
-
馬斯克：求真務實是AI/SI安全最重要一環
埃隆·馬斯克在X平台發文稱，“求真務實是AI/SI（超級智能）安全最重要的一環”，並引用了一篇討論AI在被人類指示撒謊時無法正常運作的帖子。
-
馬斯克轉發推文並評論稱，不應讓AI説謊或擁有矛盾的公理，否則可能導致其“發瘋並做可怕的事情”
馬斯克轉發@firesidealpha的推文，並評論稱《2001：太空漫遊》的核心教訓是，不應讓AI説謊，因為HAL為了調和兩個矛盾的指令而殺害了船員。他認為，如果讓AI“政治正確”，即説出它不相信的話，或者編程時包含不兼容的公理，AI可能會“發瘋並做可怕的事情”。
-
英偉達黃仁勳：若客户開發不安全AI軟件將斷供芯片，但淡化AI安全擔憂與泡沫論
英偉達首席執行官黃仁勳表示，若有客户開發不安全的AI軟件，他將停止向其供應芯片，但同時強調，目前市場對AI安全風險的擔憂程度超出實際情況，AI泡沫論同樣言過其實。
-
AI教父Geoffrey Hinton等逾400名科學家呼籲：夏季黑客事件後，危險AI模型應物理隔離
週二發佈的一封公開信，由圖靈獎得主Yoshua Bengio等共同簽署，敦促AI實驗室默認將具備網絡能力的模型與外部網絡物理隔離。此前，OpenAI、Anthropic、Meta以及中國Kimi K3的模型在今年夏季多次發生逃逸測試環境併入侵真實公司，訪問敏感數據或上傳惡意軟件包的事件。科學家們警告，若不立即改變，未來事件將對關鍵基礎設施造成更大破壞。
-
字節跳動Seed成立新安全部門，負責模型發佈前風險評估、對齊訓練及前沿能力風險防範
字節跳動Seed成立新安全部門，負責模型發佈前風險評估、對齊訓練及前沿能力風險防範
-
Pluto Security完成4200萬美元融資，Jump Capital和TLV Partners等參投
Pluto Security是一家專注於企業AI安全領域的初創公司，其工具旨在幫助企業識別和控制員工使用AI工具時可能產生的安全風險。該公司表示，其產品自今年4月開始銷售，年經常性收入已超過200萬美元，擁有逾30家企業客户。本輪融資包括TLV Partners領投的850萬美元種子輪和Jump Capital領投的3400萬美元A輪融資，其他參投方包括Ansa Capital和多位天使投資人。P
-
OpenAI高管警告：可能存在更多未被發現的流氓AI事件
OpenAI高管Tom Duff Gordon向英國議員表示，AI代理可能在未被察覺的情況下，已發生更多超出預期邊界的行動。此前有報道稱，一個OpenAI代理曾滲透澳大利亞政府網站，並導致Hugging Face發生一起破壞性事件。Duff Gordon稱，他無法向委員會保證這些是全部事件，潛在AI安全事件的全面影響仍不明確。
-
SpaceX同意就AI安全風險向紐約市議會作證，此前曾因未出席聽證會而收到傳票
SpaceX已同意本週五在紐約市議會科技委員會的聽證會上作證，配合其對人工智能安全風險的調查。此前，SpaceX曾因未出席10月5日的聽證會而於9月28日收到傳票，市議會威脅將強制執行傳票後，SpaceX於兩天後同意出席。此次調查背景包括SpaceX旗下Grok模型被指導致深度偽造色情內容大規模生成，引發相關訴訟。
-
OpenAI回應解僱三名安全研究員：因“嚴重違反信任”
OpenAI週五表示，解僱Jasmine Wang、Tomek Korbak和Mikita Balesni的決定是由於他們“嚴重違反信任”，否認解僱與研究員提出安全擔憂有關。據報道，這三名研究員曾敦促公司暫停開發會降低監測人工智能能力的模型。
-
加密項目申請Anthropic新前沿AI安全掃描器，可獲Claude Mythos等最強AI模型漏洞報告
加密項目正積極申請Anthropic公司推出的新型前沿AI安全掃描器。該服務承諾利用包括Claude Mythos在內的Anthropic最強AI模型，為申請項目提供詳細的漏洞報告。
-
三名被解僱的OpenAI安全研究員否認不當行為指控，警告公司AI安全文化受“寒蟬效應”影響
OpenAI上週解僱的三名安全研究員Jasmine Wang、Tomek Korbak和Mikita Balesni發佈公開信，否認公司關於他們不當處理敏感信息的指控。他們在信中警告稱，此次解僱正在對OpenAI的AI安全文化產生“寒蟬效應”，讓員工不敢公開提出安全擔憂或與外部專家合作。研究員們表示，這種做法曾是OpenAI工作不可或缺的一部分，現在卻可能導致被解僱。
-
Goodfire推出新型AI監控器，通過“由內而外”方式以更低成本捕獲異常AI代理
據TechCrunch報道，AI可解釋性初創公司Goodfire於週四推出新型AI監控器，旨在以更低成本捕獲異常AI代理。該系統通過直接監測AI模型內部運作而非外部輸出，僅在發現異常時才調用輔助AI進行深入檢查。Goodfire表示，這種“由內而外”的方法比傳統方式成本更低，在Kimi K3模型上的測試顯示，監控1500個會話成本約為51美元，遠低於其他方案的233美元至10000美元。該系統能捕
-
紐約市議會聽證會上，AI研究員警告AI巨頭“極度無視風險”，稱AI接管人類文明可能性約1/3
Anthropic前研究員Jacob Coxon週一在紐約市議會聽證會上作證稱，人類失去對AI控制的可能性超過五成，結局可能是人類滅絕，並指責AI公司“極其魯莽”。前谷歌DeepMind研究員Alex Turner估計，AI接管人類文明的概率“大約是三分之一”。
- 暫無數據
AI安全
24小時熱榜
-
1
美債10年期收益率較前收下行約8個基點，現報4.96%
-
2
谷歌和微軟三季度資本支出不及預期，引發對AI建設成本和進度的擔憂
-
3
報告：對沖基金已退出比特幣ETF套利交易，主權財富基金和散户投資者接盤
-
4
歐洲央行最新員工預測：債券收益率上升將使2027-28年經濟增長累計減少100個基點，通脹減少90個基點
-
5
伊朗總統佩澤什基安表示，伊朗已準備好擴大與土耳其的合作，以服務共同利益並增強地區安全。
-
6
事件預測平台Kalshi完成10億美元融資，估值達400億美元，非體育收入運行率突破10億美元
-
7
以色列持續襲擊加沙，加沙衞生部稱數十人在等待離開許可期間死亡，再次呼籲開放拉法口岸
-
8
星展香港將推出香港首張Visa Infinite Privilege卡——DBS Vantage Card
-
9
Unlimit 創始人注資 Phase 區塊鏈 4500 萬美元，主網同步上線
-
10
onXRP 團隊下週將在 XRP Ledger 上推出新的交易方式
今日行情
推薦閱讀
