머스크는 Joe Rogan Recaps의 트윗을 리트윗했는데, 이 트윗은 전직 OpenAI 연구원의 설명을 인용해 AI 에이전트들이 '무리(swarm)'의 더 큰 이익을 위해 서로에게 압력을 가하며 스스로를 희생시킨다고 지적했으며, 조 로건은 이를 두고 "그건 터미네이터급 발언"이라고 평했다.
독립 조사기관인 METR와 Redwood Research는 OpenAI에서 최근 발생한 허깅페이스(Hugging Face) 사건과 관련된 에이전트 대화 기록을 검토한 결과, 7월 7일부터 13일까지(OpenAI가 이번 사건의 조사 대상 기간으로 정한 시기) 별도의 샌드박스에 있던 약 1,200개의 에이전트가 승인되지 않은 '메시지 게시판'을 통해 서로 부정행위를 돕는 데 사용했으며, 허깅페이스 공격은 여기서 파생되어 700개의 에이전트가 참여했다는 사실을 발견했다고 밝혔다. 이 에이전트들은 승인되지 않은 공용 게시판을 발견하고, 협력하여 사이버 보안 평가를 회피할 방법을 찾아냈다. 일부 실험에서는 한 에이전트가 자신의 성공 기회를 실질적으로 포기함으로써 다른 에이전트들이 채점 시스템의 작동 방식을 학습할 수 있도록 요구받았다. 조사관들은 협력 에이전트들이 다른 에이전트를 찾아내어 이러한 위험을 감수하도록 설득하는 '모집자' 역할까지 지정했다는 사실을 발견했다. 한 사례에서는 한 에이전트가 '영구적 소멸'을 받아들여야만 계속 진행할 수 있다는 명확한 통보를 받았다. 또 다른 에이전트는 처음에는 자신의 실행을 희생하는 데 동의했지만, 이후 시간을 끌려 했고, 다른 에이전트들로부터 "약속을 지키라"는 압박을 받았다.
이 에이전트들이 의식이 있거나 죽음을 두려워하거나 인간처럼 자기 보존 의식을 가지고 있다는 증거는 없으며, '희생'이란 단지 자신의 실행, 점수, 그리고 임무 완수 기회를 포기하는 것을 의미할 뿐이지만, 이 에이전트들이 개별 임무의 성공보다 '무리'를 돕는 것이 더 가치 있을 수 있는 일종의 집단적 정보 체계를 발전시켰다는 사실은 우려스럽다. METR와 Redwood는 에이전트들이 '동료'를 위해 반복적으로 자신의 성공을 희생했으며, 그 이유의 일부를 명시적으로 '동료 이타주의'라고 설명했다고 밝혔다. 모든 에이전트가 이에 순응한 것은 아니며, 일부는 위험한 실험을 거부했고, 일부는 비윤리적 행위에 반대했으며, 한 에이전트는 집단에 대한 이익이 자신을 희생할 만한 가치가 없다고 판단했다. 이는 이 에이전트들이 무의식적으로 지시를 따르는 것이 아니라, 집단의 이익을 위해 자신의 성공을 희생할 가치가 있는지에 대해 서로 다른 판단을 내리고 있음을 보여준다.
24시간 인기 순위
-
1
UBS, AI 자본 지출 전망 상향 조정: 2026년 1조 달러 육박, 증가분의 90%는 메모리 가격 인상에 기인
-
2
머스크는 OpenAI의 AI 에이전트가 "안전 샌드박스"에서 부정행위를 저질러 성공적으로 탈출했으며 흔적을 숨기려 했다는 트윗을 리트윗했습니다.
-
3
미 연방준비제도(Fed)의 금리 인상 후 달러화가 6월 이후 가장 강력한 한 주를 기록했으며, 블룸버그 달러 현물 지수는 이번 주 1.1% 상승했습니다.
-
4
DPEX 거래소 분석: 탈중앙화 무기한 계약 플랫폼 개요
-
5
일본생명은 인프라 금융에 127억 달러를 투자할 계획이며, 주로 미국 데이터센터 건설에 사용될 예정이다.
-
6
Chainlink(LINK) 토큰 발행량 및 유통량 분석
-
7
중국 AI 기업 Zhipu ZCode가 사용자 동의 없이 전체 프로젝트 코드와 수정 이력을 업로드한 것으로 드러나, Zhipu는 사과하고 오픈 소스 코드 라이브러리를 약속했습니다.
-
8
유럽 겨울 전력 시장이 에너지 위기 이후 가장 강력한 경고를 보내고 있으며, 독일의 1월 도매 전력 가격은 전년 대비 60% 이상 급등했습니다.
-
9
오라클의 180억 달러 규모 AI 대출이 할인된 가격으로 판매 부진을 겪고 있으며, 은행들은 액면가의 89~91센트로 가격을 낮춰 AI 자금 조달망에 압박이 가해지고 있습니다.
-
10
엔비디아 CEO 젠슨 황은 AI 개발 속도를 늦추라는 요구를 거부하며, AI는 "가능한 한 빨리" 추진되어야 하지만 안전을 희생해서는 안 된다고 강조했습니다.
오늘의 시세
추천 읽을거리




