Svmuuニュース CoinbaseのCEOであるBrain Armstrong氏は、Xプラットフォームへの投稿で、Coinbase内部において、チームがトークンの使用量が指数関数的に増加する中でAIの支出を安定させる方法を模索していると述べた。その実現方法は、使用制限や頻繁なコスト通知によるものではなく、より優れたシステム設計に依拠するものである。
同氏は、Coinbaseが主に5つの側面からAI利用コストを最適化していると指摘した。第一に「最適化されたデフォルトモデル」である。これにより、エンジニアは自由にモデルを選択できる一方で、システムはデフォルトで低コストのオープンソース重みモデル(GLM 5.2、Kimi 2.7など)を推奨する。同時に、タスクに応じて適切なモデルを選択することも奨励している。次に「インテリジェントルーティング」です。タスクの種類、キャッシュヒット率、モデルの価格に基づいて、手動での選択ではなく、自動化されたシステムが最適なモデルを割り当てます。
第三に「キャッシュの最適化」です。キャッシュヒット率を向上させることで、重複計算のコストを大幅に削減します。第四に「コンテキストの簡素化」です。タスクの切り替え時に無効なトークンの消費を減らし、不要なツール呼び出しを制限します。第五に「可視化による透明性」です。エンジニアが自身の利用状況を明確に把握できるようにしつつ、制限によって利用を抑制することはありません。
Brian Armstrong氏は、目標はAIの利用を抑制することではなく、指数関数的な成長を支えるインフラを構築することだと述べています。実践の結果、トークンの使用量が継続的に増加しているにもかかわらず、AI関連の総支出はほぼ半減していることが示されています。