Svmuuニュース：OpenAIのエンジニアリングチームは最近、一部の社員に対し、AIモデルの「推論（inference）」コストを半分以上削減できる新しいシステム最適化手法を見出したことを明らかにした。推論コストとは、モデルが実際に動作し、ユーザーの要求に応答する際に消費される計算リソースのコストを指す。今回の最適化は、新たな演算チップの導入に依存するのではなく、主に既存のサーバーリソースの利用効率向上によるものである。この進展は、AI企業が演算リソースの獲得競争を続ける一方で、ソフトウェアやシステムレベルの最適化を通じて既存インフラの利用効率を高め、急増するモデル運用コストの圧力を緩和しようとしていることを反映している。（The Information）