Svmuu 소식 Coinbase의 최고경영자(CEO) 브라이언 암스트롱(Brian Armstrong)은 X 플랫폼에 게시한 글에서, Coinbase가 기본 설정, 라우팅 및 캐싱 전략을 최적화함으로써 토큰 사용량이 지속적으로 증가하는 상황에서도 AI 비용을 약 50% 절감했다고 밝혔다.
구체적인 조치로는 기본 모델을 GLM 5.2 및 Kimi 2.7과 같은 오픈소스 가중치 모델로 전환한 것이 포함되며, 이로 인해 직원의 91%가 이전에 사용 한도에 도달한 적이 없었다. 또한 맞춤형 시스템에서 프롬프트를 사전 처리하고 가장 적합한 모델로 자동 라우팅하여, 계획 및 실행 작업에 대한 차별화된 처리를 실현했다;캐시 적중률을 높여 LibreChat의 캐시 적중률을 5%에서 60%로 향상시켰습니다; 컨텍스트 관리를 간소화하여, 작업 전환 시 새 세션을 열고 파일 컨텍스트 범위를 축소했습니다; 비용 가시성을 강화하여, 엔지니어는 모델을 자유롭게 선택할 수 있지만 그에 따른 예상 영향을 감수해야 합니다.