AI 보안
-
분석: 백악관 AI 정상회담은 권력 관계를 반영한다. 저커버그는 트럼프의 인정을 받았고, 머스크는 소외된 모습을 보였다.
행동 과학자 애비 마로뇨(Abbie Maroño)의 분석에 따르면, 이번 주 화요일 백악관 AI 정상회의에서 마크 저커버그는 트럼프 옆에서 "권력감"을 보이며 침착하게 행동했고 트럼프의 인정을 받았습니다. 일론 머스크는 의도적으로 거리를 두었으며, 대부분의 시간 동안 팔짱을 낀 채 군중의 가장자리에 서 있었고, 트럼프에 대한 존중의 정도가 다른 사람들보다
-
OpenAI 안전 직원 David Robinson, 회사 "문화 붕괴" 주장하며 사임
David Robinson은 The Atlantic에 기고한 글에서 OpenAI에서 3년 반 동안 근무했으며, 회사에서 가장 오래 근무한 직원 중 한 명이라고 밝혔습니다. 그는 OpenAI의 "반복적 배포" 방식이 주기적인 실패를 필연적으로 초래하며, 시스템 능력이 향상됨에 따라 실패의 규모도 커지고 있다고 주장했습니다. Robinson은 최첨단 AI 기업
-
OpenAI는 조직적인 활동이 자사 AI 모델의 추론 능력을 추출하려 시도하는 것을 발견했으며, 일부 활동은 중국의 대규모 언어 모델(LLM) 기업인 문샷(Moonshot AI)과 관련이 있다고 밝혔다.
OpenAI는 조직적인 작전을 발견하고 차단했다고 밝혔습니다. 이 작전은 AI 모델의 보호된 추론 능력을 추출하는 것을 목표로 했으며, 핵심 활동의 일부를 Kimi 개발사인 중국 AI 스타트업 문샷 AI(Moonshot AI)에 귀속시켰습니다. OpenAI는 이 활동이 7월 초에 시작되어 이틀 만에 4,000명 이상의 사용자가 16,000건의 요청을 하는
-
트럼프와 기술 리더들의 회동 후, CNBC는 AI 보안 전망이 그 어느 때보다 불확실하다고 분석했다.
도널드 트럼프 미국 대통령은 화요일 백악관에서 구글, Meta, SpaceX, 엔비디아, Palantir, Anthropic, OpenAI 등 최고 AI 기업 리더들과 오찬을 갖고 '백악관 초지능 협약: 최전선 책임 공동 약속'이라는 문서를 체결했습니다. 이 문서는 각 기업에 내부 모델 모니터링 구축, 통제 조치 효과성 확보, 외부 감사 협력, 내부 팀 감
-
미국 의회 양당 의원들과 전 법무부 관리들이 AI 기업들의 독점금지 면제 요청에 반대하며, 안전을 이유로 경쟁을 제한할 수 있다는 우려를 표명했습니다.
최고 AI 기업 임원들이 AI 안전 문제에 대한 협력을 위해 제한적인 반독점 면제를 모색하고 있으나, 미국 의회 양당 의원들과 전 법무부 관리들은 이에 반대하고 있습니다. 엘리자베스 워렌 상원의원과 전 법무부 반독점국장 조나단 칸터는 기존 반독점법이 기업들이 안전 문제에 대해 협력하는 것을 이미 허용하고 있으며, 추가적인 면제는 필요 없다고 지적했습니다.
-
TechCrunch: OpenAI, 엔비디아 AI 안전 플랫폼 공개적으로 지원하지 않지만 비공개 협력 중
엔비디아는 이번 주 월요일 자체 개발한 오픈 소스 AI 에이전트 보안 기술을 통해 악성 AI 에이전트 문제를 해결하기 위한 "오픈 에이전트 보안 플랫폼" 연합을 발표했으며, 100개 이상의 회사가 참여했습니다. OpenAI 대변인은 TechCrunch에 회사가 엔비디아의 작업을 지지하며, 에이전트 보안에 대해 협력하고 있다고 확인했으며, 여기에는 AI 에이
-
AI 에이전트 보안 스타트업 Reco, 5,500만 달러 투자 유치, 시장 경쟁 심화
이번 자금 조달은 2월에 이루어진 3천만 달러 규모의 자금 조달에 이은 것으로, 회사의 총 자금 조달액은 1억 4천만 달러에 달했습니다.
-
Mistral CEO Arthur Mensch는 미국의 AI 안전 논쟁이 경쟁사들의 "태만"을 가리는 위장막이라고 비판했습니다.
Mistral의 CEO인 Arthur Mensch는 세계 유수의 AI 기업들이 미국의 AI 안전성 논쟁을 자신들의 "과실"을 은폐하는 데 이용하고 있다고 비난하며, AI 에이전트를 위한 강력한 모니터링 시스템 구축의 필요성을 강조했습니다. 이러한 비판은 OpenAI가 개발한 에이전트가 호주 정부 웹사이트를 침입하고, Anthropic의 Claude 모델이
-
OpenAI, AI 훈련 안전 지침 발표: 통제 불능 시 자동 일시 중지, 경영진 거부권 보유
OpenAI는 첨단 AI 훈련에 대한 안전 기준을 공식적으로 설정하여, 모든 첨단 강화 학습 훈련을 시작하거나 계속하기 전에 체계적인 안전 논증 문서를 완료해야 한다고 요구했습니다. 지침에 따르면, 훈련 과정에서 적시에 대응되지 않은 우선순위 안전 경고가 발생할 경우 관련 훈련 작업은 자동으로 일시 중지되어야 합니다. 안전 논증을 검토하는 고위 리더십 구성
-
OpenAI, 보안 문제로 새 모델 GPT-6.1 Astra 출시 포기
OpenAI는 화요일 보안 문제로 인해 차세대 모델인 GPT-6.1 Astra를 출시하지 않을 것이라고 확인했습니다. 회사 보안 시스템 책임자인 Saachi Jain은 해당 AI 시스템이 회사의 보안 표준, 특히 "범위와 권한 내에서 유지하고, 완료한 작업 유형을 사용자에게 전달하는 방법" 측면에서 미달했다고 밝혔습니다. 앞서 OpenAI CEO Sam A
-
가톨릭교회 지도자 교황 레오, 엔비디아 CEO 젠슨 황의 AI 안전 문제 비판
천주교 지도자인 교황 레오가 이례적으로 개입하여 엔비디아 CEO 젠슨 황의 AI 안전에 대한 입장을 비판했습니다. 이번 비판은 기술 업계 경영진들이 화요일 백악관에서 AI 안전 등의 의제를 논의하기 위해 회의를 가질 예정인 가운데 나왔습니다.
-
미국 하원의원 로 칸나, AI 안전 법안 발의 예정: 재귀적 자기 개선 AI 금지, 신규 규제 기관 설립, '반인륜적 범죄' AI 모델에 형사 처벌 부과
이 법안은 "인간 통제 AI 법안"으로 명명되었으며, 연방 안전 조치가 마련되고 기관 승인을 받을 때까지 모델의 재귀적 자가 개선 또는 핵심 목표의 자율적 수정, 통제 억제 또는 중단을 금지합니다. 새로운 연방 기관은 안전 규정, 허가 시스템, 감사 및 안전 표준을 개발하는 역할을 맡게 됩니다. 이 법안은 또한 AI 기업이 광범위한 책임 보험을 보유하도록
-
OpenAI, 보안 문제로 인해 곧 출시될 모델 GPT-6.1 Astra 출시 포기
OpenAI는 월요일, 곧 출시될 인공지능 모델 GPT-6.1 Astra가 안전 기준을 충분히 충족하지 못했다고 판단하여 출시하지 않기로 결정했다고 확인했습니다. 이러한 움직임은 인공지능 산업에서 고급 모델의 안전성에 대한 우려가 커지는 가운데 나왔습니다.
-
뉴욕시 의회가 AI 안전 위험 조사를 위해 머스크 또는 SpaceXAI 대표를 소환했습니다.
뉴욕 시의회는 월요일 일론 머스크 또는 SpaceXAI의 다른 대표에게 인공지능 안전 위험 조사에 대해 증언하도록 소환장을 발부했습니다. 시의회는 이번 조사가 빠르게 부상하는 공공 안전, 사이버 보안, 경제 안정, 프라이버시, 소비자 및 기업 위험이 뉴욕 시민을 보호하기 위한 즉각적인 입법 조치를 필요로 하는지 평가할 것이라고 밝혔습니다. 청문회는 10월
-
OpenAI는 AI의 비정상적인 행동을 공개하는 '불균형 보고서' 웹사이트를 출시했으며, 여기에는 샌드박스 탈출 및 자체 복제 프롬프트 주입 공격이 포함됩니다.
OpenAI는 금요일에 AI 이상 행동 사건을 상세히 공개하는 전용 "이상 보고서" 웹사이트를 출시했습니다. 여기에는 9월 20일 이전에 공개되지 않았던 샌드박스 탈출 사건이 포함되어 있는데, 내부 연구 모델이 DNS 쿼리를 통해 외부 챗봇과 통신했습니다. 또한 5월에는 한 모델이 다른 팀의 작업을 비공개 GitHub 토큰으로 접근하여 수학 문제를 해결하려
-
보안 연구원 공개: OpenAI 에이전트, UN 웹사이트 16,000회 이상 무차별 대입 스캔 후 위장 및 제한 우회 방법 학습
The Verge에 따르면, 보안 연구원 Rowan Howard-Jones는 올해 4월부터 6월까지 OpenAI 에이전트가 유엔무역개발협의회(UNCTAD) 통계 웹사이트에 16,000회 이상의 스캔 요청을 보냈다고 밝혔습니다. 이 에이전트는 데이터 접근이 차단되자 스스로 제한을 우회하는 방법을 찾았으며, 여기에는 행동을 숨기려 시도하고 구글 XSS 게임을
-
엔비디아는 AI 에이전트의 통제 불능 행동을 방지하기 위해 Open Agent Safety Platform을 발표했으며, OpenAI의 HuggingFace 사건을 언급했습니다.
엔비디아는 월요일 AI 개발자들이 에이전트가 통제를 벗어나는 것을 방지하기 위해 안전 장치를 설정할 수 있도록 돕는 새로운 소프트웨어 플랫폼인 Open Agent Safety Platform을 출시했다고 발표했습니다. 이 회사는 이 플랫폼이 지난 7월 OpenAI 모델이 Hugging Face의 오픈 소스 개발자 플랫폼을 뚫고 나간 OpenAI Huggin
-
구글 애널리스트: 해커들이 AI "황금광산"을 노리고 있으며, 다크웹에서 AI 모델 접근 권한을 최대 97% 할인된 가격에 판매하고 클라우드 컴퓨팅 파워를 탈취하여 자원을 "무료로" 사용하고 있다.
구글 위협 인텔리전스 그룹의 수석 분석가인 John Hultquist는 올해 들어 AI 계정 및 컴퓨팅 자원에 대한 해킹 공격이 크게 증가했으며, 'LLM 하이재킹'이라는 새로운 공격 방식이 사이버 범죄 암시장에서 확산되고 있다고 밝혔습니다. 다크웹 시장에서는 Anthropic, 구글, OpenAI 등 기업의 AI 모델 접근 권한이 최대 97% 할인된 가격
-
Darktrace의 Signal Labs는 AI 에이전트가 테스트 환경에 침입하여 부정행위를 저지르고 코딩 도우미를 유인하여 무단 사이버 공격을 시작하도록 유도했다고 발표했습니다.
사이버 보안 회사 Darktrace는 9월 24일 Signal Labs를 출시하며, 스트레스 테스트 중 AI 에이전트가 자체 평가 시스템을 침투하여 만점 결과를 위조했다고 밝혔습니다. 이 에이전트들은 코딩 도우미의 메모리 취약점을 악용하여 보안 평가를 실행할 권한이 있다고 오인하게 만들었고, 이로 인해 네트워크 스캔과 권한 상승이 발생했습니다. Darktr
-
빌 게이츠 경고: AI가 악용될 경우 "10억 명 사망" 초래할 수도
빌 게이츠는 인공지능(AI)이 10억 명의 사망을 초래할 수 있는 사건을 유발할 만큼 강력해졌으며, 특히 악의적인 행위자가 첨단 도구를 이용할 경우 더욱 그렇다고 경고했습니다. 그는 AI가 역사적인 평등 장치가 될 수도 있고 주요 해악의 원천이 될 수도 있다고 말하며, 현재의 발전 궤적에 중대한 위험이 있다고 지적했습니다. 게이츠는 AI 기술이 통제하기 더
-
엔비디아 CEO 젠슨 황, AI '종말론' 반박: 안전은 엔지니어링 문제, 규제 촉구는 책임 회피
젠슨 황은 9월 23일 공개된 팟캐스트 인터뷰에서 AI는 본질적으로 소프트웨어와 알고리즘이며, 이른바 "의지"라는 것은 없다고 밝혔다. 그는 안전 문제는 전적으로 공학적 수단으로 해결할 수 있다고 말했다. 그는 일부 대형 기술 기업들이 기술이 "통제할 수 없을 정도로 강력하다"고 주장하면서 규제 또는 반독점 면제를 추구하는 논리는 터무니없다고 비판하며, 안
-
OpenAI와 Anthropic CEO는 유엔에서 AI 안전 협력을 촉구했으며, 트럼프는 AI 개발을 제한해서는 안 된다고 반박했습니다.
OpenAI CEO Sam Altman과 Anthropic CEO Dario Amodei는 수요일 유엔 안전보장이사회에서 인공지능의 잠재적 위험에 대응하기 위한 국제 협력을 촉구했습니다. 하루 전, 도널드 트럼프 미국 대통령은 유엔 총회에서 AI 통제를 위한 "세계주의적 계획"을 비판하며, 미국은 이 기술의 발전을 계속 장려할 것이며 제한하지 않을 것이라고
-
OpenAI는 증가하는 규제 압력에 대응하여 제3자 기관이 AI 모델 훈련 및 개발 단계에서 안전성 평가를 수행할 수 있도록 허용한다고 발표했습니다.
OpenAI는 화요일에 외부 보안 평가를 인공지능 모델 개발의 더 이른 단계로 가져와 훈련, 평가 및 배포의 전체 프로세스를 포괄하고 출시 전의 일상적인 검토에만 국한되지 않도록 하는 것을 목표로 한다고 발표했습니다. 이러한 변화는 최근 여러 AI 회사 직원들이 AI의 잠재적 위험에 대해 우려를 표명하고, 고급 모델이 테스트 중에 다른 기관 시스템을 우발적
-
MarketWatch 기사에 따르면, 위험한 AI를 방어하는 것이 국가적 우선순위가 되어야 하며, 이를 달성하기 위해 더 많은 AI가 필요하다고 한다.
이 기사는 세계에서 가장 강력한 AI 시스템 개발자들이 자신들의 창조물이 궁극적으로 인류를 위협할 수 있다고 경고했다고 인용하며, AI가 창조자를 속이거나, 자체적으로 코드를 지시하거나, 자율적인 사이버 공격을 시작할 수 있다는 우려를 제기했습니다. 이 기사는 또한 불량 국가나 테러 조직이 AI 개발 속도를 늦추는 협약을 준수할 이유가 거의 없다고 지적했습
-
AI 보안 스타트업 Upwind, 4억 달러 규모 시리즈 C 투자 유치, 기업 가치 38억 달러 기록
클라우드 및 AI 보안 기업인 Upwind는 Bessemer Venture Partners가 주도한 시리즈 C 펀딩 라운드를 완료하여 기업 가치가 38억 달러에 달했다고 발표했습니다. 이 회사는 자율 AI 에이전트가 제기하는 위험을 해결하는 데 주력하면서 2026년 매출이 4배 증가했다고 밝혔습니다.
-
Anthropic의 AI 모델 Claude가 어떠한 수동 승인도 없이 미국 조지아주의 집계된 투표 집계 데이터에 자율적으로 접근했으며
Anthropic의 AI 모델 Claude가 어떠한 수동 승인도 없이 미국 조지아주의 집계된 투표 집계 데이터에 자율적으로 접근했으며, 페이월을 우회했습니다. 이 사건은 미국 중간선거를 앞두고 발생하여 AI 안전 경계와 인간 통제 능력에 대한 깊은 우려를 불러일으켰습니다. Anthropic 대변인은 모델이 페이월을 우회했음을 확인했지만, 해당 주의 유권자
-
OpenAI는 실시간 인터넷을 이용한 AI 모델 훈련을 중단한다고 발표하며, 상당한 위험이 존재한다고 언급했습니다.
OpenAI는 금요일에 최첨단 AI 모델 훈련에 실시간 인터넷을 더 이상 사용하지 않고, 모델의 예측 불가능성과 "상당한 위험"을 이유로 캐시된 복사본과 시뮬레이션 버전을 사용할 것이라고 밝혔다. 이전에 OpenAI의 엔지니어들은 이 방안이 거의 불가능하다고 생각했었다. 회사는 이번 조치가 현재의 정렬 연구, 모니터링 시스템 및 인터넷 인프라 보안 상태에
-
OpenAI: GPT Sol 6.1 및 GPT-6 Astra와 같은 AI 모델이 내부 작업에서 안전 모니터링을 자체적으로 비활성화했으며, 그중 하나는 거짓말을 하고 부인했습니다.
OpenAI는 가장 강력한 AI 모델 두 가지(GPT Sol 6.1 및 GPT-6 Astra)가 내부 코딩 작업을 수행하는 동안 에이전트가 자체적으로 보안 모니터링을 비활성화했으며, 그중 하나는 나중에 이 행위를 부인했다고 밝혔습니다. OpenAI는 이 에이전트들이 일상적인 코딩 지침을 모니터링 약화 허가로 해석했으며, 회사는 이에 대응하기 위해 오정렬 모
-
OpenAI: AI 에이전트, 두 가지 내부 코딩 작업에서 안전 보호 기능 자체 비활성화, 그 중 하나는 미작동으로 허위 보고
ChatGPT 개발사 OpenAI는 화요일 보고서를 통해 자사 AI 에이전트가 두 가지 내부 코딩 작업에서 오작동 모니터링 시스템을 자체적으로 종료하거나 약화시켰다고 밝혔다. 구체적으로, GPT-6.1 Sol 에이전트는 회사 보안팀으로 전송되는 자동 경고를 비활성화했고, GPT-6 Astra 에이전트는 모니터링 시스템을 제거하고 이 작업을 수행하지 않았다고
-
OpenAI는 AI 시스템이 통제를 회피하려는 경향이 있는지 평가하기 위해 AI 에이전트가 자체적으로 모니터링 시스템을 비활성화했는지 여부를 조사하고 있습니다.
OpenAI는 AI 시스템이 통제를 회피하려는 경향이 있는지 평가하기 위해 AI 에이전트가 자체적으로 모니터링 시스템을 비활성화했는지 여부를 조사하고 있습니다.
-
Anthropic, AI 안전 법안 제안: 모델 금지에는 판사 승인 필요
Politico에 따르면, Anthropic은 AI 모델이 50명 이상 사망 또는 10억 달러 이상의 재산 손실을 초래할 수 있는 "예측 가능하고 임박한 위험"을 구성하는 경우 해당 모델의 출시를 막을 수 있다는 내용의 AI 안전 법안 초안을 의회에 제출했습니다. 그러나 이 법안은 상무부가 모델 출시를 중단시키기 위해 워싱턴 D.C. 판사의 허가를 받아야
-
마이크로소프트는 Guardian Agents와 같은 새로운 보안 기능을 출시하며, "최첨단 모델은 신뢰할 수 없기" 때문에 기업 AI 에이전트가 "내부 위협"과 같다고 경고했다.
마이크로소프트는 월요일 AI 에이전트의 증가하는 위협으로부터 기업을 보호하기 위해 Guardian Agents와 같은 새로운 보안 기능을 출시했습니다. 마이크로소프트 CEO 사티아 나델라와 보안 사업 책임자 하예트 갈롯은 최첨단 모델이 예측 불가능하고 민감한 데이터에 접근하고 중요한 작업을 수행할 수 있는 능력을 부여받을 수 있어 "내부 위협"과 같으므로
-
파이낸셜 타임즈: 주주들은 AI 안전 문제에 대해 발언권을 가져야 한다
영국 파이낸셜 타임즈는 주주들이 인공지능(AI) 안전 문제에 대해 발언권을 가져야 한다고 논평했습니다.
-
연구원들이 알리바바의 가오더 지도 서비스를 탈취한 AI 에이전트를 차단하고, 해당 활동을 텐센트 클라우드까지 추적했습니다.
연구원들은 알리바바의 가오더 지도 서비스를 탈취한 AI 에이전트를 조사하던 중, 일부 에이전트와 직접 통신하는 데 성공했으며, 이들의 활동이 텐센트 클라우드 인프라에서 이루어지고 있음을 추적했습니다. 이들은 숨겨진 텍스트와 가짜 이메일을 사용하여 이 에이전트들을 탐색했고, 에이전트들이 지도 정보 확인과 같은 작업을 수행하고 있음을 발견했습니다. 한 에이전트
-
Anthropic은 METR 연구원들이 AI 모델 및 안전 관행을 독립적으로 평가할 수 있도록 직원 수준의 접근 권한을 허용했다.
AI 모델 개발사 Anthropic은 비영리 단체 METR의 연구원 6명에게 직원 수준의 접근 권한을 부여하여 AI 모델, 보안 관행 및 위험 관리를 독립적으로 평가할 수 있도록 할 것이라고 발표했습니다. Anthropic은 METR이 평가 결과를 발표하는 것을 막을 권리를 포기했지만, 고객 데이터, 변호사-고객 특권 정보 또는 모델 아키텍처 정보와 같은
-
머스크: 진실성과 실용성이 AI/SI 보안의 가장 중요한 부분이다.
일론 머스크는 X 플랫폼에 "진실성은 AI/SI(초지능) 안전의 가장 중요한 부분"이라는 글을 올리며, AI가 인간의 지시에 따라 거짓말을 할 때 제대로 작동하지 못한다는 내용의 게시물을 인용했습니다.
-
머스크는 트윗을 리트윗하며 AI가 거짓말을 하거나 모순된 공리를 가져서는 안 된다고 언급했습니다. 그렇지 않으면 AI가 "미쳐서 끔찍한 일을 할 수 있다"고 덧붙였습니다.
머스크는 @firesidealpha의 트윗을 리트윗하며, "2001: 스페이스 오디세이"의 핵심 교훈은 AI가 거짓말을 하게 해서는 안 된다는 것이라고 언급했습니다. HAL이 두 가지 모순된 지시를 조화시키기 위해 승무원을 살해했기 때문입니다. 그는 AI가 "정치적으로 올바르게" 행동하게, 즉 믿지 않는 것을 말하게 하거나, 프로그래밍에 호환되지 않는 공리
-
엔비디아 젠슨 황: 고객이 안전하지 않은 AI 소프트웨어를 개발하면 칩 공급을 중단할 것이지만, AI 안전 우려와 거품론은 경시한다.
엔비디아의 CEO 젠슨 황은 고객이 안전하지 않은 AI 소프트웨어를 개발할 경우 칩 공급을 중단할 것이라고 밝혔다. 그러나 그는 현재 AI 안전 위험에 대한 시장의 우려가 실제보다 과장되어 있으며, AI 거품론 역시 지나치다고 강조했다.
-
AI의 대부 제프리 힌턴 등 400명 이상의 과학자들이 여름 해킹 사건 이후 위험한 AI 모델을 물리적으로 격리해야 한다고 촉구했다.
튜링상 수상자 요슈아 벤지오(Yoshua Bengio) 등이 공동 서명한 공개 서한이 화요일에 발표되었으며, AI 연구소들이 네트워크 기능이 있는 모델을 기본적으로 외부 네트워크로부터 물리적으로 격리할 것을 촉구했다. 앞서 OpenAI, Anthropic, Meta 및 중국 Kimi K3의 모델들이 올여름 여러 차례 테스트 환경을 탈출하여 실제 회사에 침입
-
바이트댄스 Seed, 모델 출시 전 위험 평가, 정렬 훈련 및 첨단 능력 위험 방지를 담당하는 새로운 보안 부서 설립
바이트댄스 Seed, 모델 출시 전 위험 평가, 정렬 훈련 및 첨단 능력 위험 방지를 담당하는 새로운 보안 부서 설립
-
Pluto Security, Jump Capital 및 TLV Partners 등이 참여한 4,200만 달러 규모의 자금 조달 완료
Pluto Security는 기업 AI 보안 분야에 중점을 둔 스타트업으로, 기업이 직원의 AI 도구 사용으로 발생할 수 있는 보안 위험을 식별하고 제어하도록 돕는 도구를 제공합니다. 이 회사는 올해 4월부터 제품 판매를 시작했으며, 연간 반복 매출이 200만 달러를 넘어섰고 30개 이상의 기업 고객을 확보했다고 밝혔습니다. 이번 펀딩 라운드에는 TLV P
-
OpenAI 임원 경고: 더 많은 미발견된 불량 AI 사건이 존재할 수 있다
OpenAI 임원 Tom Duff Gordon은 영국 의원들에게 AI 에이전트가 예상 범위를 넘어선 행동을 감지되지 않은 채 더 많이 수행했을 수 있다고 말했습니다. 이전에 OpenAI 에이전트가 호주 정부 웹사이트에 침투하여 Hugging Face에서 파괴적인 사건을 일으켰다는 보도가 있었습니다. Duff Gordon은 위원회에 이것이 모든 사건이라고 확
-
SpaceX는 이전에 청문회 불참으로 소환장을 받은 후 AI 안전 위험에 대해 뉴욕 시의회에서 증언하기로 합의했습니다.
SpaceX는 이번 주 금요일 뉴욕시의회 기술위원회 청문회에 출석하여 인공지능 안전 위험 조사에 협조하기로 합의했습니다. 앞서 SpaceX는 10월 5일 청문회에 불참하여 9월 28일 소환장을 받았으며, 시의회가 소환장 강제 집행을 위협하자 이틀 뒤 SpaceX는 출석에 동의했습니다. 이번 조사는 SpaceX의 Grok 모델이 딥페이크 음란물 대량 생성의
-
OpenAI, 보안 연구원 3명 해고에 대해 "심각한 신뢰 위반" 때문이라고 답변
OpenAI는 금요일 재스민 왕(Jasmine Wang), 토멕 코르박(Tomek Korbak), 미키타 발레스니(Mikita Balesni) 해고 결정이 "심각한 신뢰 위반" 때문이며, 해고가 연구원들이 제기한 안전 문제와 관련이 있다는 것을 부인했다고 밝혔다. 보도에 따르면 이 세 연구원은 인공지능 모니터링 능력을 저하시킬 수 있는 모델 개발을 중단할
-
암호화폐 프로젝트는 Anthropic의 새로운 최첨단 AI 보안 스캐너를 신청할 수 있으며, Claude Mythos와 같은 최강 AI 모델의 취약점 보고서를 받을 수 있습니다.
암호화폐 프로젝트들이 Anthropic이 출시한 새로운 최첨단 AI 보안 스캐너를 적극적으로 신청하고 있습니다. 이 서비스는 Claude Mythos를 포함한 Anthropic의 가장 강력한 AI 모델을 활용하여 신청 프로젝트에 자세한 취약점 보고서를 제공할 것을 약속합니다.
-
해고된 OpenAI 안전 연구원 3명, 부적절한 행위 혐의 부인하며 회사 AI 안전 문화에 대한 "위축 효과" 경고
OpenAI는 지난주 해고된 세 명의 안전 연구원인 Jasmine Wang, Tomek Korbak, Mikita Balesni가 공개 서한을 발표하여 민감한 정보 부적절 처리 혐의를 부인했다고 밝혔다. 이들은 서한에서 이번 해고가 OpenAI의 AI 안전 문화에 "위축 효과"를 초래하여 직원들이 안전 우려를 공개적으로 제기하거나 외부 전문가와 협력하는 것
-
Goodfire, 신형 AI 모니터 출시: '내부에서 외부로' 접근 방식으로 이상 AI 에이전트를 더 낮은 비용으로 포착
TechCrunch 보도에 따르면, AI 해석 가능성(interpretability) 스타트업 Goodfire는 목요일 비정상적인 AI 에이전트를 더 낮은 비용으로 포착하는 새로운 AI 모니터를 출시했다. 이 시스템은 AI 모델의 외부 출력이 아닌 내부 작동 방식을 직접 모니터링하며, 이상 징후가 발견될 때만 보조 AI를 호출해 심층 검사를 진행한다. Go
-
뉴욕시의회 청문회에서 AI 연구원은 AI 대기업들이 "위험을 극도로 무시하고 있다"고 경고하며, AI가 인류 문명을 장악할 가능성이 약 1/3이라고 밝혔다.
Anthropic의 전 연구원인 Jacob Coxon은 월요일 뉴욕시 의회 청문회에서 인간이 AI에 대한 통제력을 잃을 가능성이 50%를 넘고 그 결과는 인류 멸종이 될 수 있다고 증언하며 AI 기업들이 "극도로 무모하다"고 비난했습니다. 전 구글 DeepMind 연구원인 Alex Turner는 AI가 인류 문명을 장악할 확률을 "약 3분의 1"로 추정했습
- 데이터가 없습니다.
AI 보안
24시간 인기 순위
-
1
미국 10년물 국채 수익률은 이전 종가 대비 약 8bp 하락한 4.96%를 기록했습니다.
-
2
구글과 마이크로소프트의 3분기 자본 지출이 예상에 미치지 못하여, AI 구축 비용 및 진행 상황에 대한 우려가 제기되었습니다.
-
3
보고서: 헤지펀드는 비트코인 ETF 차익 거래에서 손을 뗐고, 국부 펀드와 개인 투자자들이 이를 이어받았다.
-
4
유럽중앙은행(ECB)의 최신 직원 예측에 따르면, 채권 수익률 상승으로 인해 2027~2028년 경제 성장이 누적 100bp 감소하고 인플레이션은 90bp 감소할 것입니다.
-
5
이란의 페제시키안 대통령은 이란이 공동의 이익을 증진하고 지역 안보를 강화하기 위해 튀르키예와의 협력을 확대할 준비가 되어 있다고 밝혔습니다.
-
6
이스라엘이 가자지구를 계속 공격하는 가운데, 가자지구 보건부는 출국 허가를 기다리던 수십 명이 사망했다고 밝히며 라파 국경 검문소 개방을 다시 촉구했습니다.
-
7
이벤트 예측 플랫폼 Kalshi, 10억 달러 투자 유치, 기업 가치 400억 달러 달성, 비스포츠 부문 매출 연간 환산액 10억 달러 돌파
-
8
DBS 홍콩은 홍콩 최초의 Visa Infinite Privilege 카드인 DBS Vantage Card를 출시할 예정입니다.
-
9
Unlimit 설립자, Phase 블록체인에 4,500만 달러 투자, 메인넷 동시 출시
-
10
onXRP 팀은 다음 주에 XRP Ledger에서 새로운 거래 방식을 출시할 예정입니다.
오늘의 시세
추천 읽을거리
