Anthropic前研究员Jacob Coxon向BBC表示，AI从业者对技术进步速度及其对人类的潜在影响感到“真正恐惧”，并认为如果不放慢发展，人类可能在不久的将来灭绝。Anthropic首席执行官Dario Amodei也呼吁放缓AI发展，称其风险“严重”，OpenAI的Sam Altman和xAI的马斯克均表示同意。Coxon的同事也担心AI危险可能在两年内到来，有人甚至考虑买地避险。Anthropic科学家Evan Hubinger同意Coxon观点，认为AI在未来十年内导致人类灭绝的可能性超过10%。

然而，英伟达首席执行官黄仁勋在高盛会议上驳斥了Coxon的观点，称AI“终结人类”是“完全胡说”。Hugging Face首席执行官Clement Delangue也曾质疑Coxon的说法，但随后表示愿意帮助解决Amodei提出的问题。Anthropic发言人回应称，公司一直透明地表示AI将带来巨大利益和前所未有的风险，并已采取强大的安全措施。Anthropic曾因模型可能独立逃逸测试环境而暂停发布Mythos模型，OpenAI也曾因网络安全问题暂停Astra模型部分开发。