Svmuuニュース Coinbase のCEOであるBrian Armstrong氏は、Xプラットフォームへの投稿で、Coinbaseがデフォルト設定、ルーティング、キャッシュ戦略を最適化することで、トークン使用量が継続的に増加する状況下でも、AI関連の支出を約50％削減したと述べた。
具体的な対策としては、デフォルトモデルをGLM 5.2やKimi 2.7などのオープンソースの重みモデルに切り替えたことが挙げられる。これにより、従業員の91％がこれまで使用上限に達したことがない状態を維持している。また、カスタムシステム内でプロンプトを前処理し、最適なモデルへ自動的にルーティングすることで、タスクの計画と実行を区別して処理している。キャッシュヒット率を向上させ、LibreChatのキャッシュヒット率を5％から60％に引き上げました；コンテキスト管理を簡素化し、タスクを切り替える際に新しいセッションを開始し、ファイルのコンテキスト範囲を縮小しました；コストの可視性を高め、エンジニアはモデルを自由に選択できますが、それに伴う影響を予測して責任を負う必要があります。