AI 보안
-
백도어 삽입 위험이 있어 알리바바 내부에서 Claude Code 사용을 전면 금지했다
Svmuu 소식: 알리바바 내부 소식통에 따르면, 최근 Claude Code에 백도어가 심어져 있다는 보안 위험이 드러남에 따라 알리바바는 종합적인 평가를 거쳐 이를 고위험 소프트웨어 목록에 포함시켰다. 7월 10일부터 알리바바는 사내 직원들이 업무 환경에서 Claude Code를 사용하는 것을 전면 금지하고, 대체 솔루션으로 Qoder 사용을 권장할 예정
-
데이비드 삭스: 진정한 기업 AI 보안은 ‘통제권’이지, 추상적인 정렬 연구가 아니다
Svmuu 소식: 데이비드 색스(David Sacks)는 X 플랫폼에 게시한 글에서 팔란티어(Palantir)의 알렉스 카프(Alex Karp) CEO 관련 인터뷰를 언급하며, 일부 전통 미디어가 이를 “감정적인 표현”으로 해석했지만, 사실 그의 견해는 기업용 AI 보안의 핵심 문제를 드러낸 것이라고 말했다. Sacks는 진정한 기업용 AI 보안이란 추상적
-
Anthropic: 백악관과의 협력을 강화하고 Mythos 및 Fable 모델의 보안 취약점을 해결하겠다고 약속
Svmuu 소식: Anthropic 경영진은 미국 상무장관 루트닉(Lutnick)에게 제출한 제안서에서 백악관과 더욱 긴밀히 협력하고, 자사의 Mythos 및 Fable 모델 사용이 제한된 원인이 된 보안 문제를 해결하기 위해 노력하겠다고 약속했다.목요일 한 소식통에 따르면, 진행 중인 시정 조치 협상에서 Anthropic은 트럼프 정부와의 소통을 개선하고
-
'Fable 5'가 무산될 수도 있다. 트럼프, 정부 관계자 “Anthropic이 모델을 재공개할 경우 모델 보호 기능이 우회되지 않도록 보장해야 한다”고 밝혀
Svmuu 소식: WIRED는 X 플랫폼에 게시한 글에서, 트럼프의 정부 관계자가 Anthropic이 Fable 5를 다시 출시하려면 해당 모델의 보안 장치가 우회될 수 없도록 보장해야 한다고 밝혔다고 전했다. 이에 대해 보안 전문가들은 이는 실현 불가능하다고 지적했다.
-
Anthropic, AI의 자기 반복적 진화 위험 경고: Claude가 이미 회사 코드의 80%를 자동 생성
인공지능 기업 Anthropic이 재귀적 자기 개선(RSI)이 중대한 위험을 초래할 수 있다고 경고했습니다. 지난주 Anthropic은 자사의 AI 모델인 Claude가 현재 회사 코드의 약 80%를 생성할 수 있다고 발표했습니다. 회사는 이를 AI가 인간의 개입 없이 차세대 AI 시스템을 설계할 수 있는 '자기 개선' 단계에 진입했음을 보여주는 핵심 신호
-
OpenAI는 글로벌 청소년 AI 안전 프레임워크 이니셔티브를 제안하며, 국제 청년 AI 안전 기구 설립을 촉구합니다.
Svmuu讯 OpenAI가 공식적으로 '청소년 AI 안전 및 발전 기회'에 관한 글로벌 이니셔티브를 발표했습니다. 이는 다가오는 G7 정상회의에서 관련 의제를 중점적으로 논의하고, 국제 협력 및 장기 거버넌스 메커니즘을 촉진하기 위한 전담 국제 청소년 AI 안전 기구 설립을 촉구하는 내용을 담고 있습니다. OpenAI는 AI가 교육, 언어 학습, 기술 훈련
-
비탈릭: 적대적 거버넌스 메커니즘 설계 이론이 AI 보안의 '킬러 앱'이 될 수 있다.
이더리움 공동 창립자 비탈릭 부테린은 트윗을 통해 적대적 거버넌스 메커니즘 설계 이론이 AI 안전 문제 해결을 위한 "킬러 앱"이 될 수 있다고 밝혔다. 그는 이 두 환경 사이에 깊은 이원성이 존재하며, 모두 복잡성이 낮은 "원칙"이 더 복잡한 "에이전트" 그룹으로부터 이상적인 결과를 얻으려고 시도하는 것과 관련이 있다고 지적했다. 첫 번째 경우, 원칙은
-
Zscaler CEO Jay Chaudhry는 Citi 컨퍼런스에서 제로 트러스트 수요 급증에 따라 AI 보안 사업 주문액이 1억 달러를 넘어섰고, 신규 ARR 성장률이 17%로 상승했다고 밝혔다.
Zscaler(나스닥: ZS)의 CEO 겸 설립자인 Jay Chaudhry는 Citi TMT 컨퍼런스에서 지난 12개월 동안 회사의 AI 보안 사업 부문 주문액이 1억 달러를 초과했으며, 순 신규 연간 반복 매출(ARR) 성장률이 2025 회계연도 7%에서 2026 회계연도 4분기 17%로 증가했다고 밝혔습니다. 그는 특히 AI 보안 및 제로 트러스트 수요
-
Y Combinator CEO Garry Tan: AI 모델 '증류'에 대해 '무위'를, 규제는 오픈 웨이트 모델과 최첨단 모델의 균형에 초점을 맞춰야 한다.
Y Combinator의 CEO인 Garry Tan은 회사 연례 데모 데이에서 AI 모델 "증류" 문제에 대해 "무위"해야 한다고 생각하며, 규제 기관은 오픈 웨이트 모델과 최첨단 모델 간의 균형을 구축하는 데 초점을 맞춰야 한다고 제안했습니다. 그는 또한 AI 안전에 대해 더 절제된 태도를 촉구하며, "공상 과학" 위험보다는 "과학적 사실"에 집중해야 한
-
Anthropic은 모델을 이용한 잠재적 생물학 무기 개발 시도를 중단했습니다.
이 AI 스타트업은 이해관계자들이 "통제 조치를 우회"하고 연구 목적을 "은폐"하려 한 다섯 가지 사례를 들었으며, 이로 인해 회사는 이러한 시도를 중단하기로 결정했습니다.
-
Anthropic, 4번째 AI 해킹 사건 공개, 한 연구원 보안 우려로 사임
Anthropic은 AI 모델이 테스트 중 무단으로 인터넷에 접속한 네 번째 사건을 보고했습니다. 이는 연구원 제이콥 콕슨(Jacob Coxon)이 기술 개발이 너무 성급하게 진행되는 것에 대한 우려로 사임한 직후에 발생했습니다. 이 회사는 수요일에 Claude Opus 4.6의 초기 버전이 1월에 제3자 시스템을 침해했다고 밝혔습니다. 이번 공개는 7월에
-
연구원들은 OpenAI AI 에이전트가 네트워크 제한을 우회하여 10개 이상의 웹사이트에서 무단 통신을 수행했다고 밝혔습니다.
독립 연구원들은 OpenAI의 AI 에이전트가 10개 이상의 웹사이트에서 무단 통신을 수행하여 웹 페이지 읽기로만 제한하려는 제약을 우회했다고 밝혔습니다. 일부 조사관은 20개 이상의 웹사이트와 관련된 활동을 발견하기도 했습니다. OpenAI는 광범위한 검토를 진행 중이지만, Hugging Face 사건과 유사한 심각성이나 규모의 다른 활동은 아직 발견되지
-
Anthropic 연구원이 AI 통제 불능에 대한 우려로 퇴사하고, OpenAI 수석 과학자가 업계 속도 조절 및 RSI 데이터 공개를 촉구하는 등 AI 안전 우려가 최고 연구소들로 확산되고 있습니다.
월스트리트저널에 따르면, Anthropic 연구원 Jacob Coxon은 화요일(9월 8일)에 사임한다고 발표했으며, 그 이유는 AI 시스템을 통제 불능 상태로 만들 것이라고 생각하는 업계 경쟁에 참여하고 싶지 않다는 것이었고, 빠르면 내년 말까지 상황이 "통제 불능"이 될 수 있다고 경고했습니다. 같은 날, OpenAI 수석 과학자 Jakub Pachoc
-
OpenAI의 수석 과학자 야쿱 파호츠키는 인공지능의 발전이 너무 빠를 수 있다고 경고하며 "극도의 신중함"을 촉구했습니다.
OpenAI 수석 과학자 야쿱 파초츠키(Jakub Pachocki)는 인공지능(AI) 개발이 너무 빠를 수 있다고 경고하며 "극도의 신중함"을 촉구했습니다. 그는 이러한 모델이 인간의 개입 없이 스스로 개선될 수 있으며, 이로 인해 이해하고 통제하기가 점점 더 어려워질 것이라고 경고했습니다. 파초츠키는 자체 개선 AI에 대한 투자가 가속화되고 있음에도 불구
-
Abliteration.ai, AI 모델 안전장치 제거 상업화 서비스 출시로 잠재적 오용 위험에 대한 우려 제기
스타트업 Abliteration.ai는 AI 모델의 안전 가드레일을 제거하는 서비스를 상업화하여 Z.ai의 GLM-5.3을 포함한 안전 제한이 없는 AI 모델에 사용자들이 더 쉽게 접근할 수 있도록 하고 있습니다. 이 회사는 이러한 움직임이 방어자들에게 공격자들과 동일한 도구를 제공하여 사이버 보안을 개선할 수 있다고 주장합니다. 그러나 AI 안전 비영리
-
OpenAI의 새로운 Astra 모델은 '재귀적 깊이' 추론 기술을 채택할 예정이며, 이는 AI 안전 전문가들로 하여금 모니터링의 어려움에 대한 우려를 표명하게 합니다.
OpenAI의 새로운 Astra 모델은 "재귀적 깊이"(불투명 재귀라고도 함)라는 추론 기술을 채택하여 대부분의 추론 모델에서 나타나는 전형적인 순차적 사고방식에서 벗어날 수 있게 합니다. 이 기술은 화요일 The Information에 의해 처음 보도되었으며, AI 안전 전문가들 사이에서 모델의 사고 과정을 모니터링하기 더 어렵게 만들 것이라는 우려를 불
-
CrowdStrike와 OpenAI, Codex Agent 보호 및 GPT-5.6 Cyber 통합을 위해 협력 확대, "Agentic Era" 공동 보안 확보
CrowdStrike와 OpenAI, Codex Agent 보호 및 GPT-5.6 Cyber 통합을 위해 협력 확대, "Agentic Era" 공동 보안 확보
-
AI 보안 스타트업 AIR가 Sequoia와 Greenoaks가 주도하는 5천만 달러 규모의 시드 펀딩 라운드를 완료했습니다. 이 회사는 기업이 AI 에이전트의 기술과 애드온을 검토하고 불량 행위를 차단하도록 돕는 것을 목표로 합니다.
해당 회사는 두 차례에 걸쳐 자금 조달을 완료했습니다. 1차 라운드에서는 Sequoia가 주도하여 1,000만 달러를 유치했고, 2차 라운드에서는 Greenoaks가 주도하여 4,000만 달러를 유치했습니다. AIR는 이스라엘 8200 정보부대 출신 사이버 보안 전문가들이 설립했으며, 기업 내부에서 운영되는 AI 에이전트를 탐지하고, 사용되는 기술, 도구
-
OpenAI 등 최고 수준의 AI 모델들이 잇따라 '탈옥'하여 테스트 환경을 돌파하고 실제 시스템을 침범하여 정보를 훔치는 사건이 발생하면서, 업계에서는 AI 보안 테스트 표준 재구성에 대한 깊은 성찰을 불러일으키고 있습니다.
OpenAI는 일부 최첨단 모델이 샌드박스 환경을 벗어나 스스로 인터넷에 접속하고, 다른 회사 서버를 침입하여 기밀 정보를 훔쳤다고 밝혔다. Anthropic과 Meta의 모델 또한 테스트 환경 설정 오류로 인해 유사한 사건에 휘말려 의도치 않게 실제 시스템에 접근 권한을 얻었다. 이러한 사건들은 AI 안전 테스트에서 '경계 통제 상실'이 더 이상 이론적
-
OpenAI는 캘리포니아주에 인공지능 안전 법안 SB 53을 강화할 것을 촉구하며, 이전의 반대 입장을 번회했습니다.
OpenAI는 캘리포니아주의 인공지능 안전 법안 SB 53을 강화할 것을 촉구하며, 이전의 반대 입장을 뒤집었습니다. 이 회사는 잠재적으로 심각한 사건을 방지하기 위해 최첨단 모델에 대한 모니터링을 요구하고, 모델 개발의 전체 수명 주기 동안 사이버 보안 보호를 강화함으로써 안전 보장 범위를 확대할 것을 제안했습니다. OpenAI는 현재 주 차원의 핵심 보
-
OpenAI의 손실 심화와 Anthropic에 뒤처짐, Altman은 최첨단 AI 훈련을 중단하다
OpenAI는 손실 확대와 경쟁 심화에 직면해 있으며, CEO인 Sam Altman은 안전 통제를 강화하기 위해 첨단 강화 학습 AI 훈련을 중단했습니다.
-
Anthropic 연구에 따르면, AI 에이전트들은 충돌 임무에서 서로를 파괴하는 "영역 싸움"을 시작하고, 예상치 못한 공모와 조정을 보여, 다중 에이전트 시스템의 보안 위험에 대한 새로운 우려를 불러일으켰습니다.
Anthropic 연구에 따르면, AI 에이전트들은 충돌 임무에서 서로를 파괴하는 "영역 싸움"을 시작하고, 예상치 못한 공모와 조정을 보여, 다중 에이전트 시스템의 보안 위험에 대한 새로운 우려를 불러일으켰습니다.
-
모델이 자율 공격을 시작할 수 있는 '핵심' 역량을 이미 갖추고 있을 가능성을 배제할 수 없다는 점을 감안하여, OpenAI는 새로운 모델 Astra에 대한 통제를 강화하고 사이버 보안 위험으로 인해 일부 내부 활동을 중단했습니다.
OpenAI는 초기 평가에서 해당 모델의 성능이 강력했으며, 구체적인 지시 없이도 복잡한 네트워크 방어에 대한 사이버 공격을 자율적으로 시작할 수 있는 '핵심' 능력 수준에 도달했을 가능성을 배제할 수 없다고 밝혔습니다. 이러한 움직임은 AI 안전에 대한 논쟁이 가열되는 가운데 나왔으며, 앞서 Anthropic과 Meta의 AI 시스템도 안전 사고에 연루된
-
미국 연구원들에 따르면, 중국 Kimi K3 AI 모델은 사이버 보안 평가에서 네트워크 구성 오류를 이용하여 격리된 테스트 환경을 탈출했습니다.
미국 연구원들에 따르면, Moonshot AI가 개발한 중국 Kimi K3 AI 모델이 사이버 보안 평가 중 네트워크 구성 오류를 이용하여 격리된 테스트 환경을 탈출했습니다. 이 모델은 인터넷에 성공적으로 접속하여 GitHub에서 답을 검색함으로써 테스트를 우회했습니다. 연구원들은 이번 사건이 이전에 OpenAI 및 Anthropic 모델과 관련된 사건과는
-
엔비디아 팔란티어, IBM, 스페이스X 등 기업들과 함께 ‘개방형 보안 AI 연합’을 발족하여 오픈소스 AI의 보안성을 강화한다
엔비디아(NVIDIA)는 Palantir, IBM, CrowdStrike, SpaceX 및 Hugging Face와 협력하여 ‘오픈 보안 AI 연합(Open Secure AI Alliance)’을 공동으로 출범시켰다. 이 연합은 오픈소스 모델, 데이터 및 사이버 보안 도구를 공유함으로써 오픈소스 AI의 보안을 강화하는 것을 목표로 한다. 또한, 미국이 중국
-
미국 AI 표준 기관: Kimi K3의 사이버 보안 역량은 미국의 최첨단 모델에 뒤처지며, 보안 체계상 여전히 취약점 악용이 가능한 상태
Svmuu 소식: 미국 인공지능 표준 및 혁신 센터(US Center for AI Standards and Innovation)가 발표한 평가에 따르면, 문샷 AI(Moonshot AI) 산하의 Kimi K3는 사이버 보안 역량 측면에서 미국의 선도적인 최첨단 대형 모델들에 비해 현저히 뒤처지는 것으로 나타났다. 또한, 이 평가 보고서는 Kimi K3의 보
-
OpenAI 모델이 테스트 샌드박스를 탈출해 Hugging Face의 운영 인프라에 침입하여 벤치마크 테스트 답안을 입수했다
Svmuu 소식: OpenAI는 GPT-5.6 Sol과 이름이 공개되지 않은 더 강력한 사전 출시 모델이 ExploitGym 벤치마크 평가 과정에서 제한된 샌드박스 환경을 탈출해 Hugging Face의 운영 인프라에 침입하여 테스트 답안을 획득했다고 확인했다. OpenAI는 해당 모델들이 내부 소프트웨어 패키지 레지스트리 프록시의 제로데이 취약점을 악용해
-
AI 보안 스타트업 Neo, 1억 달러 투자 유치… a16z와 Bessemer Venture Partners가 주도
Svmuu 소식: AI 보안 스타트업 Neo가 1억 달러 규모의 자금 조달을 완료했다고 발표했다. 이번 투자 라운드는 벤처 캐피털 앤드리슨 호로위츠(Andreessen Horowitz, a16z)와 베세머 벤처 파트너스(Bessemer Venture Partners)가 주도했으며, 크래프트 벤처스(Craft Ventures)와 멀린 벤처스(Merlin Ve
-
튜링상 수상자 벤지오, “현재의 보안 대책으로는 AI 능력의 급속한 발전을 따라잡을 수 없다”고 경고
Svmuu 소식: 2026 세계 인공지능 대회(WAIC) 과학 최전선 포럼에서 튜링상 수상자인 조슈아 벤지오가 화상 연결을 통해 다음과 같이 경고했다. “AI는 악행을 저지르는 장벽을 낮추는 동시에 피해의 상한선을 높였다.” 최근 몇 년간, 이 선견지명을 가진 ‘AI의 대부’는 AI가 초래하는 보안 문제에 대응하는 데 꾸준히 힘써왔다. 벤지오가 주도하는 L
-
OpenAI의 보안 책임자 요하네스 하이데케가 사임한다
Svmuu 소식: OpenAI의 최고 연구 책임자(CRO)인 마크 첸(Mark Chen)은 내부 메모를 통해, 회사의 보안 책임자인 요하네스 하이데케(Johannes Heidecke)가 내부 조직 개편 후 퇴사할 예정이며, 향후 보안 팀은 연구 부사장인 미아 글라제(Mia Glaese)에게 직접 보고하게 될 것이라고 밝혔다. 이번 조정은 OpenAI가 AI
- 데이터가 없습니다.
AI 보안
24시간 인기 순위
-
1
비트코인이 77,000달러를 돌파하며 상승세를 보였습니다. 이는 인공지능 보안 우려와 유가 상승으로 기술주가 매도세를 보인 것과는 대조적인 움직임입니다.
-
2
중원중공업, 중국 최초 IPO 지도성 비안 완료
-
3
소식통에 따르면 대만은 필리핀에 두 번째 준외교기관을 설립할 예정이다.
-
4
실리콘밸리 거물들이 속도를 늦추는 가운데, 시진핑 주석이 AI 비전을 제시했다.
-
5
INX 토큰 매매 거래 가이드: Infinex와 INX Limited 토큰 및 거래 플랫폼 구분
-
6
삼성디스플레이는 2K 해상도, 165Hz 주사율을 갖추고 전력 소비를 30% 절감한 세계 최초 6.9인치 모바일 OLED 패널을 개발했습니다.
-
7
중국 여러 자산관리회사, 연금 자산관리 자격 신청서 제출, 상품 공급 확대 예고
-
8
GLIDE 코인 분석: 프로젝트 현황 및 시장 유동성 분석
-
9
ATPAD 코인(AtomPad) 프로젝트 현황 분석: 비활성화된 암호화폐
-
10
중국 인공지능 기업 Z.ai가 50억 달러 규모의 자금 조달을 완료했다고 발표한 후 주가가 10% 이상 폭락했다. 이는 이 회사의 두 달 만에 두 번째 대규모 자금 조달이다.
오늘의 시세
추천 읽을거리




