Svmuuのニュースによると、SemiAnalysisは、大規模モデルの推論においてよく引用される「最初のトークンまでの遅延」（TTFT、time-to-first-token）が、市場で過度に注目されている可能性があると指摘している。推論システムの中核となる指標は「速ければ速いほど良い」というものではなく、「単一ユーザーあたりのインタラクション速度（tok/s/user）」と「全体的なスループット効率（tok/s/GPU）」の間のトレードオフにある。多くのシナリオにおいて、TTFTがユーザー体験に与える影響は限定的だが、生成段階におけるトークン速度こそが重要な変数である。
SemiAnalysisは、推論タスクのうち実際に遅延に制約を受けるのは約10％～20％に過ぎず、残りの大部分のシナリオでは、スループットとコスト効率の最適化がより重要であると結論付けている。