NVIDIAのシニアディレクターであるディオン・ハリス氏は、GroqラックがVera CPUおよびRubin GPUと共に、新しいクラウドサービスプロバイダーであるNebiusに展開され、今年後半に稼働を開始すると述べました。NVIDIAは昨年12月、チップスタートアップのGroqの資産を200億ドルで買収しました。これは同社史上最大の買収です。GroqチップはSamsungによって製造されており、NVIDIAのGPUはTSMCによって製造されています。NVIDIAは256個の独立したGroq 3チップをLPXラックにパッケージ化し、そのGroq 3 LPXラックが毎秒3,400トークンを提供できると述べています。低遅延推論はAIにおいて、特にコーディング分野で、AIエージェントの応答速度を確保するためにますます重要になっています。