英偉達高級總監Dion Harris表示,Groq機架將與Vera中央處理器和Rubin圖形處理器一同部署在新雲服務商Nebius,並於今年晚些時候上線。英偉達於去年12月以200億美元收購了芯片初創公司Groq的資產,這是該公司有史以來最大的一筆收購。Groq芯片由三星製造,而英偉達的GPU則由台積電製造。英偉達將256個獨立的Groq 3芯片封裝到其LPX機架中,並稱其Groq 3 LPX機架每秒可提供3,400個token。低延遲推理在AI中日益重要,尤其是在編碼領域,以確保AI代理的響應速度。