Anthropic前研究員Jacob Coxon向BBC表示，AI從業者對技術進步速度及其對人類的潛在影響感到“真正恐懼”，並認為如果不放慢發展，人類可能在不久的將來滅絕。Anthropic首席執行官Dario Amodei也呼籲放緩AI發展，稱其風險“嚴重”，OpenAI的Sam Altman和xAI的馬斯克均表示同意。Coxon的同事也擔心AI危險可能在兩年內到來，有人甚至考慮買地避險。Anthropic科學家Evan Hubinger同意Coxon觀點，認為AI在未來十年內導致人類滅絕的可能性超過10%。

然而，英偉達首席執行官黃仁勳在高盛會議上駁斥了Coxon的觀點，稱AI“終結人類”是“完全胡説”。Hugging Face首席執行官Clement Delangue也曾質疑Coxon的説法，但隨後表示願意幫助解決Amodei提出的問題。Anthropic發言人回應稱，公司一直透明地表示AI將帶來巨大利益和前所未有的風險，並已採取強大的安全措施。Anthropic曾因模型可能獨立逃逸測試環境而暫停發佈Mythos模型，OpenAI也曾因網絡安全問題暫停Astra模型部分開發。