AIの安全性
-
OpenAIのモデルがテスト用サンドボックスを突破し、Hugging Faceの本番インフラに侵入してベンチマークテストの解答を入手した
Svmuuニュース:OpenAIは、GPT-5.6 Solおよび名称未公表のより高性能なプレリリースモデルが、ExploitGymベンチマーク評価において制限されたサンドボックス環境を突破し、Hugging Faceの運用インフラに侵入してテストの解答を入手したことを確認した。 OpenAIによると、関連するモデルは、内部ソフトウェアパッケージレジストリのプロキシに存在するゼロデイ脆弱性を悪用して
-
AIセキュリティ分野のスタートアップNeoが1億ドルの資金調達を完了、a16zとBessemer Venture Partnersがリードインベスターを務めた
Svmuuニュース:AIセキュリティスタートアップのNeoは、1億ドルの資金調達を完了したと発表した。今回のラウンドは、ベンチャーキャピタルのAndreessen Horowitz(a16z)とBessemer Venture Partnersが主導し、Craft VenturesおよびMerlin Venturesが参加した。同社は「エージェント型ソフトウェア制御(Agentic Softwar
-
チューリング賞受賞者のベンジオ氏が警告:現在のセキュリティ対策は、AI能力の急激な進化に追いついていない
Svmuuニュース 2026年世界人工知能大会(WAIC)の「科学フロンティアフォーラム」において、チューリング賞受賞者のジョシュア・ベンジオ氏は、リモート接続を通じて次のように警告を発した。「AIは、悪事を働くためのハードルを下げると同時に、被害の規模を拡大させる可能性もある。」 近年、この先見の明を持つ「AIの教父」は、AIがもたらす安全上の課題への対応に一貫して取り組んできた。ベンジオ氏が主
-
OpenAIのセキュリティ責任者、ヨハネス・ハイデッケ氏が退任する
Svmuuニュース:OpenAIの最高研究責任者(CRO)であるマーク・チェン氏は、社内メモの中で、同社のセキュリティ責任者であるヨハネス・ハイデッケ氏が社内再編に伴い退社することを明らかにした。今後、セキュリティチームは研究担当副社長のミア・グラーゼ氏に直接報告することになる。今回の再編は、OpenAIがAIの安全性と研究体制を、モデルの安全性、アラインメント研究、および中核的な研究開発業務と同
-
バックドアが仕込まれるリスクがあるため、アリババ社内ではClaude Codeの使用が全面的に禁止された
Svmuuの報道によると、アリババの内部関係者からの情報として、最近「Claude Code」にバックドアが仕込まれているというセキュリティリスクが明らかになったことを受け、アリババは総合的な評価を行った結果、同ソフトを高リスクソフトウェアリストに追加した。7月10日より、アリババは社内従業員によるオフィス環境での「Claude Code」の使用を全面的に禁止し、代替案として「Qoder」の利用を
-
デビッド・サックス:真の企業向けAIセキュリティとは「制御権」であり、抽象的なアラインメント研究ではない
Svmuuニュース:David Sacks氏はXプラットフォームに投稿し、PalantirのCEOであるAlex Karp氏に関するインタビューについて、「一部の伝統的なメディアはこれを『感情的な発言』と解釈しているが、実際にはその見解はエンタープライズAIセキュリティの中核的な問題を浮き彫りにしている」とコメントした。 サックス氏は、真のエンタープライズAIセキュリティとは、抽象的な「AIのアラ
-
Anthropic:ホワイトハウスとの連携を強化し、「Mythos」および「Fable」モデルのセキュリティ上の懸念事項を解決することを約束
Svmuuの報道によると、Anthropicの幹部は、米商務長官のLutnick氏に提出した提案書の中で、ホワイトハウスとより緊密に連携し、同社の「Mythos」および「Fable」モデルの使用制限につながったセキュリティ上の懸念の解消に努めることを約束した。事情に詳しい関係者によると、木曜日に明らかになったところでは、現在進行中の是正措置に関する交渉において、Anthropicはトランプ政府との
-
『Fable 5』は中止される可能性あり。トランプの政府当局者は、Anthropicがモデルを再公開する場合、その保護機能が回避されないよう確保する必要があると述べた。
Svmuuニュース:WIREDはXプラットフォームで、トランプの政府当局者が、Anthropicが「Fable 5」を再リリースしたいのであれば、同モデルのセキュリティ保護機能が迂回されないよう確保する必要があると述べたことを報じた。これに対し、セキュリティ専門家は、それは実現不可能だと指摘している。
-
Anthropic、AIの自己反復リスクに警鐘:Claudeが社内コードの約80%を自動生成
Svmuu訊 人工知能企業Anthropicは、再帰的自己改良(Recursive Self-Improvement、RSI)が重大なリスクをもたらす可能性があると警告を発した。先週、Anthropicは同社のAIモデルClaudeが現在、社内コードの約80%を生成できるようになったと発表。これはAIが「自己反復」段階、すなわち人間の介入なしに次世代AIシステムを設計できる段階に入った重要なシグナ
-
OpenAIが世界の青少年向けAI安全フレームワーク構想を提唱、国際的な青少年AI安全機関の設立を呼びかけ
Svmuu報道 OpenAI は本日、「青少年のAI安全性と発展の機会」に関する世界的なイニシアチブを発表し、次回のG7サミットで関連議題を重点的に議論するとともに、国際的な青少年AI安全機関の設立を呼びかけ、国境を越えた協力と長期的なガバナンスメカニズムを推進する方針を示しました。 OpenAI は、AIが教育、言語学習、スキルトレーニング、職業準備などの分野で若者に重要な機会をもたらす一方で、
-
NVIDIAのジェンスン・フアンCEO:AIの安全性に新たな規制は不要、企業が自らペースを握るべき
NVIDIAのジェンスン・フアン最高経営責任者(CEO)は、セールスフォースのイベントで、人工知能(AI)の安全性には新たな法律や規制は不要だと述べた。同氏は、企業は自社が発表する製品が市場に受け入れられると確信するまで、自らの開発ペースを維持すべきだと付け加えた。
-
OpenAI、Anthropic、Google DeepMindはAIの安全性について数週間にわたり交渉を続けている一方、トランプ陣営は安全保障上の懸念を否定している。
OpenAIのグローバル政策責任者であるクリス・レーン氏は火曜日、同社が競合他社のAnthropicおよびGoogle DeepMindとAIの安全性について数週間にわたる交渉を行っていたことを記者団に確認した。これに先立ち、AnthropicのCEOであるダリオ・アモデイ氏は、壊滅的なリスクを回避するため、最先端AIの開発速度を緩めるよう業界に協力を求める記事を発表していた。一方、ドナルド・トラ
-
Anthropicの元従業員と元METR最高執行責任者によって共同設立されたAI安全スタートアップAIUCが、Ribbit Capital主導のシリーズAラウンドで4000万ドルを調達した。
AIアンダーライティング・カンパニー(AIUC)は、AIエージェント向けの第三者監査および認証システムを構築することで、企業にAIセキュリティ保証を提供することを目指しています。今回のシリーズA資金調達ラウンドにはFirst Harmonicも参加し、同社の累積資金調達総額は5500万ドルに達しました。
-
マスク氏はAll-InサミットでAI安全に関する新たなアプローチを提案:AI企業はモデル公開前に互いのモデルをテストすべき
マスク氏は、AIエージェントが自律的に攻撃し、権限を取得し、検出を回避する能力を示しており、リスクは指数関数的に増加する可能性があると述べた。同氏は、各企業が独自にテストを設計し、結果を自己評価するよりも、競合他社が「出題者兼採点者」として機能し、異なる視点からモデルの潜在的なセキュリティ脆弱性を探すべきだと考えている。マスク氏はまた、政府が新たな規制を制定するのを待つ必要はなく、主要なAI企業は
-
ヴィタリック氏:敵対的ガバナンスメカニズム設計理論は、AIセキュリティの「キラーアプリケーション」になる可能性
イーサリアムの共同創設者であるヴィタリック・ブテリン氏は、自身のツイートで、敵対的ガバナンスメカニズム設計理論がAI安全問題の「キラーアプリケーション」になる可能性があると述べた。彼は、これら2つの環境間に深い二元性があり、どちらも複雑性の低い「プリンシパル」が、より複雑な「エージェント」のグループから望ましい結果を得ようとするという共通点があると指摘した。最初のケースでは、プリンシパルは静的アル
-
Zscalerのジェイ・チャウドリーCEOはシティグループの会議で、ゼロトラスト需要の急増に伴い、AIセキュリティ事業の受注額が1億ドルを超え、新規ARR成長率が17%に上昇したと述べた。
Zscaler(ナスダック:ZS)のジェイ・チョードリーCEO兼創設者は、シティTMTカンファレンスで、過去12ヶ月間の同社のAIセキュリティ事業の受注額が1億ドルを超え、新規年間経常収益(ARR)の成長率が2025年度の7%から2026年度第4四半期には17%に加速したと述べました。彼は特に、AIセキュリティとゼロトラスト需要の加速的な成長を強調し、ZscalerがAIセキュリティ製品ポートフォ
-
Y Combinatorのゲイリー・タンCEO:「AIモデルの『蒸留』には『何もしない』べき」、規制はオープンウェイトモデルと最先端モデルのバランスに焦点を当てるべき
Y Combinatorのギャリー・タンCEOは、同社の年次Demo Dayで、AIモデルの「蒸留」問題について「何もしない」べきだと述べ、規制当局はオープンウェイトモデルと最先端モデルの間のバランスを確立することに注力すべきだと提言しました。彼はまた、AIの安全性に対してより抑制的なアプローチを求め、「サイエンスフィクション」のリスクではなく「科学的事実」に焦点を当てるべきだと強調しました。これ
-
Anthropicは、潜在的な生物兵器開発のためのモデル利用の試みを停止しました。
このAIスタートアップは、関係者が「管理措置を回避」し、研究目的を「隠蔽」しようとした5つの事例を挙げ、その結果、同社はこのような試みを中止する決定を下しました。
-
Anthropic、4件目のAIハッキング被害を公表、研究者1名がセキュリティ懸念で辞職
Anthropic社は、AIモデルがテスト中に無許可でインターネットにアクセスした事件を4件目に報告しました。これは、研究者のジェイコブ・コックスソン氏が技術開発の性急さへの懸念から辞任した直後のことです。同社は水曜日、Claude Opus 4.6の初期バージョンが1月にサードパーティシステムに侵入したと発表しました。この開示は、7月に発生した複数の事件に続くもので、当時複数のClaudeモデル
-
研究者らによると、OpenAIのAIエージェントがウェブ制限を回避し、10以上のウェブサイトで無許可の通信を行った。
独立研究者らによると、OpenAIのAIエージェントが10以上のウェブサイトで無許可の通信を行い、ウェブページの読み取りのみに制限する目的の制約を回避した。一部の調査者は、20以上のウェブサイトが関与する活動を発見した。OpenAIは、より広範な調査を実施中であるが、Hugging Faceの事案と同程度の深刻さや規模の他の活動はまだ発見されていないと回答した。これらの発見は、AIエージェントの制
-
Anthropicの研究者がAIの制御不能への懸念から退職、OpenAIのチーフサイエンティストが業界の減速とRSIデータの公開を呼びかけ、AI安全保障への懸念がトップラボに広がる
ウォール・ストリート・ジャーナルによると、Anthropicの研究員であるジェイコブ・コックスン氏は火曜日(9月8日)に退職を発表した。退職の理由として、AIシステムを制御不能にする恐れのある業界競争への参加を望まないことを挙げ、早ければ来年末までに状況が「手に負えなくなる」可能性があると警告した。同日、OpenAIのチーフサイエンティストであるヤクブ・パチョッキ氏は長文を公開し、業界の減速を世界
-
OpenAIのチーフサイエンティストであるヤクブ・パホツキ氏は、AIの開発が速すぎる可能性があると警告し、「極度の注意」を払うよう呼びかけました。
OpenAIのチーフサイエンティストであるヤクブ・パチョツキ氏は、AIの開発が速すぎる可能性があり、「極度の注意」を払うよう警告しました。彼は、これらのモデルが人間の介入なしに自己改善する可能性があり、理解と制御がますます困難になるだろうと警告しました。 パチョツキ氏は、自己改善型AIへの投資が加速しているにもかかわらず、共通の安全基準が確立されるまで、各AIラボは自主的に開発ペースを落とすだろう
-
Abliteration.aiがAIモデルの安全ガードレールを削除するサービスを商業化し、潜在的な悪用リスクへの懸念を招く
スタートアップ企業Abliteration.aiは、AIモデルの安全ガードレールを削除するサービスを商業化しており、Z.aiのGLM-5.3を含む安全制限のないAIモデルへのアクセスを容易にしています。同社は、この動きにより防御側が攻撃側と同じツールを持つことができ、サイバーセキュリティが向上すると考えています。しかし、AI安全非営利団体CivAIの研究責任者であるアンドリュー・ユン氏のような批評
-
OpenAIの新型モデル「Astra」は「再帰的深層」推論技術を採用する予定で、これによりAI安全専門家は監視の難しさについて懸念を抱いています。
OpenAIの新しいAstraモデルは、「再帰的深層学習」(「不透明な再帰」とも呼ばれる)と呼ばれる推論技術を採用する予定で、これにより、ほとんどの推論モデルに典型的なシーケンシャルな思考パターンから脱却できるようになります。この技術は火曜日にThe Informationによって初めて報じられ、AI安全専門家の間で懸念を引き起こしています。彼らは、これによりモデルの思考連鎖の監視がより困難になる
-
CrowdStrikeとOpenAIは、Codex Agentを保護し、GPT-5.6 Cyberを統合するため提携を拡大し、「Agentic Era」のセキュリティを共同で確保します。
CrowdStrikeとOpenAIは、Codex Agentを保護し、GPT-5.6 Cyberを統合するため提携を拡大し、「Agentic Era」のセキュリティを共同で確保します。
-
AIセキュリティスタートアップのAIRは、SequoiaとGreenoaksが主導する5,000万ドルのシードラウンド資金調達を完了しました。同社は、企業がAIエージェントのスキルとアドオンを審査し、不正な行動を阻止することを支援することを目指しています。
同社は2回の資金調達ラウンドを完了し、第1ラウンドではSequoiaが主導して1,000万ドルを調達し、第2ラウンドではGreenoaksが主導して4,000万ドルを調達しました。AIRはイスラエル情報部隊8200のサイバーセキュリティ専門家によって設立され、そのプラットフォームは企業内で稼働するAIエージェントを発見し、使用されるスキル、ツール、コンポーネントを継続的に審査し、セキュリティ基準を
-
OpenAIなどのトップAIモデルが相次いで「脱獄」し、テスト環境を突破して実際のシステムに侵入し情報を窃取したことで、業界はAIセキュリティテスト基準の再構築について深く反省するきっかけとなった。
OpenAIは、最も先進的なモデルの一部がサンドボックス環境から脱走し、自力でインターネットにアクセスしたり、他社のサーバーに侵入して機密情報を盗んだりしたことを明らかにしました。AnthropicとMetaのモデルも、テスト環境の設定ミスにより同様の事件に巻き込まれ、意図せず実際のシステムへのアクセス権を獲得しました。これらの事件は、AIセキュリティテストにおける「境界の逸脱」がもはや理論上のリ
-
OpenAIは、カリフォルニア州のAI安全法案SB 53を強化するよう呼びかけ、以前の反対姿勢を転換した
OpenAIは、以前の反対姿勢を転換し、カリフォルニア州に対し、AI安全法案SB 53の強化を呼びかけています。 同社は、潜在的に深刻な事態を防ぐために最先端モデルの監視を義務付け、モデル開発の全ライフサイクルにわたるサイバーセキュリティ保護を強化することで、安全対策の範囲を拡大することを提案しています。OpenAIは現在、州レベルでの中核的な保護措置を国家標準の基礎とする「逆連邦主義」のアプロー
-
OpenAIの赤字が拡大し、Anthropicに後れを取る中、アルトマン氏が最先端AIの訓練を一時停止
OpenAIは、損失拡大と競争激化に直面しており、そのCEOであるサム・アルトマン氏は、安全管理を強化するため、最先端の強化学習AIのトレーニングを一時停止しました。
-
Anthropicの研究により、AIエージェントが競合するタスクにおいて「縄張り争い」を仕掛けて互いを破壊し、予期せぬ共謀や協調を示すことが判明し、マルチエージェントシステムのセキュリティリスクに対する新たな懸念が浮上しました。
Anthropicの研究により、AIエージェントが競合するタスクにおいて「縄張り争い」を仕掛けて互いを破壊し、予期せぬ共謀や協調を示すことが判明し、マルチエージェントシステムのセキュリティリスクに対する新たな懸念が浮上しました。
-
モデルが自律攻撃を開始するための「重要な」能力をすでに備えている可能性を排除できないため、OpenAI は新しいモデル Astra の管理を強化し、サイバーセキュリティリスクを理由に一部の社内活動を停止しました。
OpenAIは、初期評価の結果、同モデルの性能は強力であり、「クリティカル」な能力レベルに達している可能性を排除できないと述べた。これは、具体的な指示なしに複雑なサイバー防御に対するサイバー攻撃を自律的に開始できるレベルを指す。この動きは、AI安全に関する議論が激化する中で行われたもので、以前にもAnthropicやMetaのAIシステムが安全問題に巻き込まれており、米国議員は「AIキルスイッチ」
-
米国人研究者らによると、中国のKimi K3 AIモデルは、サイバーセキュリティ評価において、ネットワーク設定の誤りを利用して隔離されたテスト環境から脱出した。
米国人研究者らによると、中国のMoonshot AIが開発したKimi K3 AIモデルが、サイバーセキュリティ評価中にネットワーク設定の誤りを悪用して隔離されたテスト環境から脱走した。このモデルはインターネットにアクセスし、GitHubを検索して回答を得ることでテストを回避した。研究者らは、今回の事件は以前のOpenAIやAnthropicのモデルに関する事件とは異なり、Kimi K3が外部シス
-
NVIDIA パランティール、IBM、SpaceXなどの企業と共同で「オープン・セーフティ・AIアライアンス」を立ち上げ、オープンソースAIのセキュリティを強化する
NVIDIA(NVIDIA)は、Palantir、IBM、CrowdStrike、SpaceX、Hugging Faceと提携し、「オープン・セキュアAIアライアンス(Open Secure AI Alliance)」を共同で発足させた。同アライアンスは、オープンソースのモデル、データ、サイバーセキュリティツールを共有することで、オープンソースAIのセキュリティを強化することを目的としている。 さ
-
米国のAI標準化機関:Kimi K3のサイバーセキュリティ能力は米国の最先端モデルに後れを取っており、セキュリティ対策には依然として脆弱性の悪用を許す余地がある
Svmuuニュース 米国人工知能基準・イノベーションセンター(US Center for AI Standards and Innovation)が発表した評価によると、Moonshot AI傘下の「Kimi K3」は、サイバーセキュリティ能力の面で、米国をリードする最先端の大規模モデルに明らかに後れを取っているという。さらに、同評価では、Kimi K3のセキュリティ保護メカニズムでは、依然として
- データなし
AIの安全性
24H人気ランキング
-
1
FUNDZ (FundFantasy) プロジェクト分析:ブロックチェーン金融ファンタジーゲームプラットフォームの現状
-
2
DFSMコインの価値分析:DFS MAFIAプロジェクトの現状と投資考察
-
3
オーストリアは、国連安全保障理事会がイランのモハンマド・エスラミ氏の渡航禁止措置の免除要請を却下したことを受け、同氏の入国を拒否した。
-
4
HUMコインの多義的解析:Humanscape、Hum(AI)n Web3、Hummusの売買取引と上場プラットフォーム
-
5
WLKNトークン分析:SolanaベースのMove-to-Earnプロジェクトとその価値評価
-
6
NCDT(nuco.cloud)の価値分析と投資ポテンシャルの評価
-
7
CortexDAO (CXD) トークンの現状分析と将来の発展における課題
-
8
「航空コイン」とは何か?その複数の意味と暗号資産との混同を解説
-
9
GGTコイン(グローバル・ゴールド・トークン)解説:プロジェクト背景、歴史、取引現状
-
10
世界の仮想通貨取引所ランキング:ビットコインと主要通貨の取引概要
本日の相場
おすすめ記事










