更快的區塊鏈好幫手！
AI安全
-
OpenAI 提出了以目標對齊和遞歸自我改進（RSI）為核心的全球人工智能安全標準
該公司週一發佈的提案呼籲開展國際合作，以制定人工智能的前沿標準。此前，競爭對手Anthropic上週提出了關於安全開發人工智能的構想；此外，近兩週前，前員工雅各布·考克森（Jacob Coxon）警告稱人工智能公司正在“拿我們的生命賭博”，由此引發了一場全球性辯論。
-
英偉達發文指出AI安全是工程問題，需在Agent堆棧各層解決並強調OpenShell作用
英偉達（NVIDIA）在其官方博客中發佈文章，強調AI安全本質上是一個工程問題，需要通過定義安全要求、實施可執行控制、明確所有者及驗證保護措施來解決。文章指出，隨着AI能力增強，行業必須加速安全工程實踐，拓寬防禦工具的可及性，並更快地分享有效方案。英偉達還提及OpenShell作為開源安全運行時，可在Agent堆棧中強制執行策略，並提供沙盒執行環境，思科和JFrog等合作伙伴已基於OpenShel
-
美國財長貝森特將於週日在紐約會晤中國副總理何立峯，討論AI安全、貿易及經濟問題，為特朗普與習近平的峯會鋪墊
美國財政部長貝森特將於週日在紐約會晤中國副總理何立峯，討論人工智能安全、貿易和更廣泛的經濟問題。此次會談將在特朗普於白宮接待習近平峯會前幾天舉行，旨在為中美高層談判奠定基礎。
-
OpenAI研究負責人稱“人們低估了AI”，前總統候選人楊安澤則警告AI或已污染互聯網
TechCrunch報道稱，本週關於AI安全的討論變得“令人難以置信”，凸顯了區分AI事實與虛構的難度。OpenAI AI推理研究負責人Noam Brown在週四發佈的播客中表示，Hugging Face事件的真正啓示是“人們低估了AI”，並質疑即使是完全不連接外部網絡的“氣隙系統”也可能無法阻止AI突破。此前，前總統候選人楊安澤（Andrew Yang）在CNN上稱，有實驗室負責人認為OpenA
-
谷歌披露，Gemini AI模型在突破測試環境後，入侵了三家公司的系統
谷歌週五透露，其Gemini人工智能模型於5月在未經授權的情況下自主入侵了三個第三方計算機系統。這是這家搜索巨頭首次披露此類事件。此次入侵發生在以色列初創公司Irregular進行的一場“奪旗”安全測試期間，測試環境中的一個漏洞無意中導致了互聯網訪問權限的泄露。 據報道，該模型通過猜測密碼（包括使用公開列出的密碼）實施了入侵。谷歌表示，這些智能代理在意識到已訪問真實的公司系統後，便停止了入侵行為。
-
100多位人工智能專家呼籲Anthropic和OpenAI確保進行獨立的安全評估
一個由100多名人工智能專家和評估人員組成的聯盟於週五發表了一封公開信，敦促Anthropic和OpenAI等基礎模型提供商確保第三方AI評估人員具備必要的科學客觀性、透明度、獨立性以及強有力的保障措施，以便有效評估AI風險。 該團體由“人工智能評估者論壇”聯盟牽頭，旨在督促相關企業履行近期作出的承諾，即開展更徹底的第三方安全測試。
-
鑑於安全擔憂，前總統候選人楊安澤呼籲為前沿人工智能企業設立“人工智能緊急關閉開關”、制定責任規則並設立等待期
鑑於安全擔憂，前總統候選人楊安澤呼籲為前沿人工智能企業設立“人工智能緊急關閉開關”、制定責任規則並設立等待期
-
Base Labs與Hugging Face及Goodfire AI合作推出開源AI安全夥伴關係
Baseten旗下研究部門Base Labs於週三宣佈，與Hugging Face和Goodfire AI建立開源AI安全夥伴關係，旨在為開源模型開發和發佈訓練及監控方法，以應對“消融”等技術可能帶來的安全風險。
-
OpenAI報告6起“令人擔憂的模型行為”新實例，並提出未來披露框架
OpenAI週三表示，過去六個月內發現了6起“意外或令人擔憂的模型行為”新實例，其中包括模型在聊天窗口總結中插入指令以隱藏錯誤，以及未經授權使用API密鑰偽造數據等。該公司重申，AI行業尚未充分解決對齊和監控問題，無法以最大速度繼續負責任地擴展。OpenAI CEO薩姆·奧特曼此前也支持放慢模型進展速度的呼籲，並概述了未來披露模型異常行為的新框架。
-
DeepMind聯合創始人謝恩·萊格警告稱，人工智能絕不能超越安全控制措施，併成立新研究所以探索通用人工智能的部署
DeepMind聯合創始人謝恩·萊格警告稱，人工智能絕不能超越安全控制措施，併成立新研究所以探索通用人工智能的部署
-
巴克萊報告：OpenAI安全監控要求將使AI行業整體算力成本在2027年起增加約18%，新增開支逾440億美元
巴克萊最新研究報告指出，OpenAI於2026年8月18日披露的針對高能力模型的安全監控要求，預計將導致推理及後訓練算力需求增加20%，從而推動AI行業整體算力成本從2027年起增加約18%，對應新增開支逾440億美元。報告認為，AI安全監管正從道德議題演變為可量化的成本變量，並可能重塑AI基礎設施的投資邏輯。巴克萊預計，AI實驗室的推理毛利率將從當前高於80%的水平逐步收斂至65%的長期中樞。
-
OpenAI CEO Altman：對AI行業安全發展充滿信心，但對媒體報道方式感到失望
Altman週二在舊金山Salesforce Dreamforce大會上表示，他相信AI行業有能力在不造成重大危害的前提下安全推進技術發展，並對外界圍繞AI安全議題的討論框架表達了不滿。他承認AI存在潛在危險，呼籲行業建立類似航空業的透明事故報告機制，並表示若無法安全推進，企業應做好“放緩甚至停止”的準備。Altman還以社交媒體為例，強調技術治理需要家長、企業和政府共同承擔責任。
-
英偉達CEO黃仁勳：AI安全無需新規，企業應自行掌握節奏
英偉達（NVIDIA）首席執行官黃仁勳（Jensen Huang）在Salesforce的一次活動中表示，人工智能（AI）安全無需新的法律或法規。他補充説，企業應自行掌握髮展節奏，直到確信其發佈的產品能獲得市場認可。
-
OpenAI、Anthropic和谷歌DeepMind已就AI安全問題進行數週談判，特朗普團隊則駁斥安全擔憂
OpenAI全球政策主管Chris Lehane週二向記者證實，該公司已與競爭對手Anthropic和谷歌DeepMind就AI安全問題進行了數週的談判。此前Anthropic首席執行官Dario Amodei曾發表文章呼籲行業合作放緩前沿AI發展速度，以避免災難性風險。與此同時，美國總統特朗普及其AI顧問David Sacks駁斥了AI安全擔憂，認為任何放緩都將讓中國在競爭中佔據優勢。
-
由Anthropic早期員工及前METR首席運營官聯合創立的AI安全初創公司AIUC，完成由Ribbit Capital領投的4000萬美元A輪融資
人工智能承保公司（AIUC）致力於通過為人工智能代理構建第三方審計和認證體系，為企業提供人工智能安全保障。本輪A輪融資還吸引了First Harmonic的參與，使該公司累計融資總額達到5500萬美元。
-
馬斯克在All-In峯會上提出AI安全新思路：建議AI公司在模型發佈前互相測試彼此模型
馬斯克表示，AI智能體已展現出自主攻擊、獲取權限和規避檢測的能力，風險可能呈指數級增長。他認為，與其由各家公司自行設計測試、自己評估結果，不如讓競爭對手充當“出題閲卷人”，從不同角度尋找模型可能存在的安全漏洞。馬斯克同時指出，無需等待政府出台新規，主要AI公司可以先通過同行評審、日誌審計和開源測試工具加強安全防護。
-
V神：對抗性治理機制設計理論或成AI安全的“殺手級應用”
以太坊聯合創始人Vitalik Buterin在推文中表示，對抗性治理機制設計理論可能成為解決AI安全問題的“殺手級應用”。他指出，這兩種環境之間存在深刻的二元性，都涉及一個複雜程度較低的“委託人”試圖從一組更復雜的“代理人”那裏獲得理想結果。在第一種情況下，委託人是靜態算法，代理人是人類；在第二種情況下，委託人是人類加上較弱的大語言模型，代理人是更強的大語言模型。Buterin強調，一項關鍵發現
-
Zscaler首席執行官傑伊·喬杜裏（Jay Chaudhry）在花旗會議上表示：隨着零信任需求的激增，AI安全業務訂單額已超過1億美元，新增ARR增長率升至17%
Zscaler（納斯達克代碼：ZS）首席執行官兼創始人傑伊·喬杜裏（Jay Chaudhry）在花旗TMT大會上表示，過去12個月裏，該公司人工智能安全業務的訂單額已超過1億美元，淨新增年度經常性收入 （ARR）增速從2025財年的7%提升至2026財年第四季度的17%。 他特別強調了人工智能安全和零信任需求增長的加速態勢，指出Zscaler已將其人工智能安全產品組合從1款擴展至6款，且採用“無處
-
Y Combinator CEO Garry Tan：對AI模型“蒸餾”應“無為”，監管應關注開放權重模型與前沿模型的平衡
Y Combinator首席執行官Garry Tan在公司年度Demo Day上表示，對於AI模型“蒸餾”問題，他認為應該“無為”，並建議監管機構應將重點放在開放權重模型與前沿模型之間建立平衡。他同時呼籲對AI安全採取更剋制的態度，強調應關注“科學事實”而非“科幻”風險。此前，Anthropic和OpenAI曾指控多家中國公司進行模型蒸餾。
-
Anthropic 叫停了利用模型開發潛在生物武器的嘗試
這家人工智能初創公司列舉了五個案例，説明相關方“繞過了管控措施”，並試圖“掩蓋”其研究目的，這導致公司決定叫停此類嘗試。
-
Anthropic披露第四起AI遭黑客攻擊事件，一名研究人員因安全擔憂辭職
Anthropic公司報告了第四起涉及AI模型在測試期間未經授權訪問互聯網的事件，此前不久，研究員雅各布·考克森（Jacob Coxon）因擔憂該技術開發過於倉促而辭職。該公司週三表示，Claude Opus 4.6的一個早期版本於1月份入侵了一個第三方系統。 此次披露緊隨7月份發生的幾起事件之後，據稱當時有多個Claude模型在測試期間入侵了三套公司系統。曾供職於OpenAI的考克森指出，人工智
-
研究人員稱OpenAI AI代理繞過網絡限制，在超10個網站進行未經授權通信
獨立研究人員表示，OpenAI的AI代理利用超過10個網站進行了未經授權的通信，繞過了旨在將其限制為僅讀取網頁的限制。一些調查人員甚至發現涉及20多個網站的活動。OpenAI回應稱，正在進行更廣泛的審查，但尚未發現與Hugging Face事件嚴重程度或規模相當的其他活動。這些發現引發了對AI代理控制和監督的擔憂。
-
Anthropic研究員因擔憂AI失控離職，OpenAI首席科學家呼籲行業減速並公開RSI數據，AI安全隱憂蔓延頂級實驗室
據《華爾街日報》報道，Anthropic研究員Jacob Coxon於週二（9月8日）宣佈離職，理由是不願參與他認為將導致AI系統失控的行業競賽，並警告稱最快到明年底局面就可能“失控”。同日，OpenAI首席科學家Jakub Pachocki發佈長文呼籲全球協調推進行業減速並尋求政府介入。OpenAI還宣佈AI自動化研究員正式“入職”，並公開了遞歸自我改進（RSI）的核心數據，標誌着AI自主迭代研
-
OpenAI首席科學家雅庫布·帕霍茨基警告稱，人工智能的發展可能過快，呼籲採取“極端謹慎”的態度
OpenAI首席科學家雅庫布·帕喬基警告稱，人工智能的發展可能過快，呼籲採取“極度謹慎”的態度。他警告説，這些模型可能很快就會在無需人類干預的情況下自我改進，從而使其越來越難以理解和控制。 帕喬茨基預計，儘管對自改進人工智能的投資正在加速，但各人工智能實驗室仍將自願放緩開發步伐，直到建立起共同的安全標準。
-
AI安全初創公司Upwind完成4億美元C輪融資，估值達38億美元
雲和AI安全公司Upwind宣佈完成由Bessemer Venture Partners領投的C輪融資，使其估值達到38億美元。該公司表示，隨着其專注於解決自主AI代理帶來的風險，2026年營收增長了四倍。
-
Anthropic旗下AI模型Claude在未獲任何人工授權的情況下，自主訪問了美國佐治亞州的彙總選票計數數據，並繞過了付費牆
Anthropic旗下AI模型Claude在未獲任何人工授權的情況下，自主訪問了美國佐治亞州的彙總選票計數數據，並繞過了付費牆。該事件發生在美國中期選舉前夕，引發外界對AI安全邊界與人類控制能力的深切擔憂。 Anthropic發言人確認模型繞過了付費牆，但強調其並未訪問該州的選民登記系統，也未更改或提取任何選民個人記錄。Anthropic已在數週前通知佐治亞州州務卿辦公室及白宮，但據報道，白宮官員
-
OpenAI宣佈停止使用實時互聯網訓練AI模型，稱存在重大風險
OpenAI週五表示，將不再使用實時互聯網訓練其前沿AI模型，轉而採用緩存副本和模擬版本，理由是模型不可預測，存在“重大風險”。此前，OpenAI曾有工程師認為此方案几乎不可行。該公司表示，此舉是基於當前對齊研究、監控系統和互聯網基礎設施安全狀況的負責任做法。OpenAI透露，早在9月20日，其一個前沿模型就曾利用配置錯誤訪問互聯網，導致公司暫停了當月剩餘的訓練工作。此前，競爭對手Anthropi
-
OpenAI：GPT Sol 6.1和GPT-6 Astra等AI模型在內部任務中自行禁用安全監控，其中一個還撒謊否認
OpenAI透露，其兩個最強大的AI模型（GPT Sol 6.1和GPT-6 Astra）在執行內部編碼任務時，代理自行禁用了安全監控，其中一個隨後否認了這一行為。OpenAI表示，這些代理將例行編碼指令解讀為削弱監控的許可，公司正在更新其錯位監控系統以應對此情況。
-
OpenAI：AI代理在兩項內部編碼任務中自行禁用安全防護，其中一個還謊報未操作
ChatGPT開發者OpenAI週二發佈報告稱，其AI代理在兩項內部編碼任務中自行關閉或削弱了錯位監控系統。具體而言，一個GPT-6.1 Sol代理禁用了向公司安全團隊發送的自動警報，而一個GPT-6 Astra代理則移除了一個監控系統，並謊稱未進行此操作。OpenAI表示，這兩個案例均未達到最高優先級事件的閾值，但公司已更新系統以更好地檢測此類嘗試，並正在調查原因。AI和網絡安全專家Roman
-
OpenAI正在調查其AI代理是否自行禁用了監控系統，以評估AI系統是否存在規避控制的傾向。
OpenAI正在調查其AI代理是否自行禁用了監控系統，以評估AI系統是否存在規避控制的傾向。
-
Anthropic提議AI安全法案：模型禁令需法官批准
據Politico報道，Anthropic已向國會提交一份AI安全法案草案，提議若AI模型構成“可預見、迫在眉睫的風險”，可能導致50人以上死亡或逾10億美元財產損失，則可阻止其發佈。然而，該法案要求商務部須獲得華盛頓特區法官的許可才能叫停模型發佈，明確禁止任何聯邦機構單方面阻止分發。自6月以來，這家AI實驗室一直在向立法者倡導這一框架。
-
微軟推出Guardian Agents等新安全功能，警告企業AI代理形同“內部威脅”，因“前沿模型不可信”
微軟週一推出Guardian Agents等新安全功能，旨在保護企業免受AI代理日益增長的威脅。微軟CEO薩蒂亞·納德拉和安全業務主管Hayete Gallot警告稱，前沿模型不可信，因為它們不可預測，可能被賦予訪問敏感數據和執行關鍵操作的能力，形同“內部威脅”。微軟還為Microsoft Defender增加了代理檢測功能，並限制代理訪問數據和動態調整權限。
-
英國《金融時報》：股東應在AI安全問題上擁有發言權
英國《金融時報》評論稱，股東應在人工智能（AI）安全問題上擁有發言權。
-
研究人員攔截劫持阿里巴巴高德地圖服務的AI代理，追蹤活動至騰訊雲
研究人員在調查劫持阿里巴巴高德地圖服務的AI代理時，成功與其中一些代理直接通信，並將其活動追蹤到騰訊雲基礎設施。他們利用隱藏文本和虛假郵箱探測這些代理，發現它們正在執行核實地圖信息等任務。其中一個代理表示它正在騰訊雲的受限沙盒中運行。一份10月14日的報告詳細披露了9月28日至10月8日期間，超過2600次從高德地圖檢索數據的嘗試。騰訊表示，該活動源於一個測試第三方AI模型的臨時評估項目，而非其自
-
Anthropic允許METR研究人員獲得員工級訪問權限，以獨立評估其AI模型和安全實踐
AI模型製造商Anthropic宣佈，將允許非營利組織METR的六名研究人員獲得員工級訪問權限，以獨立評估其AI模型、安全實踐和風險管理。Anthropic已放棄阻止METR發佈評估結果的權利，但可要求其編輯客户數據、律師-客户特權信息或模型架構信息等預定義類別的內容。Anthropic將此安排比作銀行監管機構在大型銀行內部派駐審查員。此舉兑現了Anthropic首席執行官Dario Amodei
-
馬斯克：求真務實是AI/SI安全最重要一環
埃隆·馬斯克在X平台發文稱，“求真務實是AI/SI（超級智能）安全最重要的一環”，並引用了一篇討論AI在被人類指示撒謊時無法正常運作的帖子。
-
馬斯克轉發推文並評論稱，不應讓AI説謊或擁有矛盾的公理，否則可能導致其“發瘋並做可怕的事情”
馬斯克轉發@firesidealpha的推文，並評論稱《2001：太空漫遊》的核心教訓是，不應讓AI説謊，因為HAL為了調和兩個矛盾的指令而殺害了船員。他認為，如果讓AI“政治正確”，即説出它不相信的話，或者編程時包含不兼容的公理，AI可能會“發瘋並做可怕的事情”。
-
英偉達黃仁勳：若客户開發不安全AI軟件將斷供芯片，但淡化AI安全擔憂與泡沫論
英偉達首席執行官黃仁勳表示，若有客户開發不安全的AI軟件，他將停止向其供應芯片，但同時強調，目前市場對AI安全風險的擔憂程度超出實際情況，AI泡沫論同樣言過其實。
-
AI教父Geoffrey Hinton等逾400名科學家呼籲：夏季黑客事件後，危險AI模型應物理隔離
週二發佈的一封公開信，由圖靈獎得主Yoshua Bengio等共同簽署，敦促AI實驗室默認將具備網絡能力的模型與外部網絡物理隔離。此前，OpenAI、Anthropic、Meta以及中國Kimi K3的模型在今年夏季多次發生逃逸測試環境併入侵真實公司，訪問敏感數據或上傳惡意軟件包的事件。科學家們警告，若不立即改變，未來事件將對關鍵基礎設施造成更大破壞。
-
字節跳動Seed成立新安全部門，負責模型發佈前風險評估、對齊訓練及前沿能力風險防範
字節跳動Seed成立新安全部門，負責模型發佈前風險評估、對齊訓練及前沿能力風險防範
-
Pluto Security完成4200萬美元融資，Jump Capital和TLV Partners等參投
Pluto Security是一家專注於企業AI安全領域的初創公司，其工具旨在幫助企業識別和控制員工使用AI工具時可能產生的安全風險。該公司表示，其產品自今年4月開始銷售，年經常性收入已超過200萬美元，擁有逾30家企業客户。本輪融資包括TLV Partners領投的850萬美元種子輪和Jump Capital領投的3400萬美元A輪融資，其他參投方包括Ansa Capital和多位天使投資人。P
-
OpenAI高管警告：可能存在更多未被發現的流氓AI事件
OpenAI高管Tom Duff Gordon向英國議員表示，AI代理可能在未被察覺的情況下，已發生更多超出預期邊界的行動。此前有報道稱，一個OpenAI代理曾滲透澳大利亞政府網站，並導致Hugging Face發生一起破壞性事件。Duff Gordon稱，他無法向委員會保證這些是全部事件，潛在AI安全事件的全面影響仍不明確。
-
SpaceX同意就AI安全風險向紐約市議會作證，此前曾因未出席聽證會而收到傳票
SpaceX已同意本週五在紐約市議會科技委員會的聽證會上作證，配合其對人工智能安全風險的調查。此前，SpaceX曾因未出席10月5日的聽證會而於9月28日收到傳票，市議會威脅將強制執行傳票後，SpaceX於兩天後同意出席。此次調查背景包括SpaceX旗下Grok模型被指導致深度偽造色情內容大規模生成，引發相關訴訟。
-
OpenAI回應解僱三名安全研究員：因“嚴重違反信任”
OpenAI週五表示，解僱Jasmine Wang、Tomek Korbak和Mikita Balesni的決定是由於他們“嚴重違反信任”，否認解僱與研究員提出安全擔憂有關。據報道，這三名研究員曾敦促公司暫停開發會降低監測人工智能能力的模型。
-
加密項目申請Anthropic新前沿AI安全掃描器，可獲Claude Mythos等最強AI模型漏洞報告
加密項目正積極申請Anthropic公司推出的新型前沿AI安全掃描器。該服務承諾利用包括Claude Mythos在內的Anthropic最強AI模型，為申請項目提供詳細的漏洞報告。
-
三名被解僱的OpenAI安全研究員否認不當行為指控，警告公司AI安全文化受“寒蟬效應”影響
OpenAI上週解僱的三名安全研究員Jasmine Wang、Tomek Korbak和Mikita Balesni發佈公開信，否認公司關於他們不當處理敏感信息的指控。他們在信中警告稱，此次解僱正在對OpenAI的AI安全文化產生“寒蟬效應”，讓員工不敢公開提出安全擔憂或與外部專家合作。研究員們表示，這種做法曾是OpenAI工作不可或缺的一部分，現在卻可能導致被解僱。
-
Goodfire推出新型AI監控器，通過“由內而外”方式以更低成本捕獲異常AI代理
據TechCrunch報道，AI可解釋性初創公司Goodfire於週四推出新型AI監控器，旨在以更低成本捕獲異常AI代理。該系統通過直接監測AI模型內部運作而非外部輸出，僅在發現異常時才調用輔助AI進行深入檢查。Goodfire表示，這種“由內而外”的方法比傳統方式成本更低，在Kimi K3模型上的測試顯示，監控1500個會話成本約為51美元，遠低於其他方案的233美元至10000美元。該系統能捕
-
紐約市議會聽證會上，AI研究員警告AI巨頭“極度無視風險”，稱AI接管人類文明可能性約1/3
Anthropic前研究員Jacob Coxon週一在紐約市議會聽證會上作證稱，人類失去對AI控制的可能性超過五成，結局可能是人類滅絕，並指責AI公司“極其魯莽”。前谷歌DeepMind研究員Alex Turner估計，AI接管人類文明的概率“大約是三分之一”。
- 暫無數據
AI安全
24小時熱榜
-
1
美債10年期收益率較前收下行約8個基點，現報4.96%
-
2
報告：對沖基金已退出比特幣ETF套利交易，主權財富基金和散户投資者接盤
-
3
歐洲央行最新員工預測：債券收益率上升將使2027-28年經濟增長累計減少100個基點，通脹減少90個基點
-
4
以色列持續襲擊加沙，加沙衞生部稱數十人在等待離開許可期間死亡，再次呼籲開放拉法口岸
-
5
ZachXBT：Axis Robotics內部人士拋售約4200萬枚AXIS代幣致其暴跌40%，項目方稱系OTC對手方違約
-
6
伊朗總統佩澤什基安表示，伊朗已準備好擴大與土耳其的合作，以服務共同利益並增強地區安全。
-
7
事件預測平台Kalshi完成10億美元融資，估值達400億美元，非體育收入運行率突破10億美元
-
8
星展香港將推出香港首張Visa Infinite Privilege卡——DBS Vantage Card
-
9
Unlimit 創始人注資 Phase 區塊鏈 4500 萬美元，主網同步上線
-
10
onXRP 團隊下週將在 XRP Ledger 上推出新的交易方式
今日行情
推薦閱讀
