英伟达高级总监Dion Harris表示,Groq机架将与Vera中央处理器和Rubin图形处理器一同部署在新云服务商Nebius,并于今年晚些时候上线。英伟达于去年12月以200亿美元收购了芯片初创公司Groq的资产,这是该公司有史以来最大的一笔收购。Groq芯片由三星制造,而英伟达的GPU则由台积电制造。英伟达将256个独立的Groq 3芯片封装到其LPX机架中,并称其Groq 3 LPX机架每秒可提供3,400个token。低延迟推理在AI中日益重要,尤其是在编码领域,以确保AI代理的响应速度。