엔비디아의 디온 해리스(Dion Harris) 선임 이사는 Groq 랙이 Vera CPU 및 Rubin GPU와 함께 새로운 클라우드 서비스 제공업체인 Nebius에 배포될 예정이며, 올해 말에 출시될 것이라고 밝혔습니다. 엔비디아는 작년 12월 200억 달러에 칩 스타트업 Groq의 자산을 인수했는데, 이는 회사 역사상 가장 큰 규모의 인수였습니다. Groq 칩은 삼성에서 제조하며, 엔비디아의 GPU는 TSMC에서 제조합니다. 엔비디아는 256개의 개별 Groq 3 칩을 LPX 랙에 패키징했으며, Groq 3 LPX 랙이 초당 3,400개의 토큰을 제공할 수 있다고 밝혔습니다. 낮은 지연 시간 추론은 AI에서 점점 더 중요해지고 있으며, 특히 코딩 분야에서는 AI 에이전트의 응답 속도를 보장하는 데 필수적입니다.