Svmuu 소식: Coinbase의 CEO 브레인 암스트롱(Brain Armstrong)은 X 플랫폼에 게시한 글에서, Coinbase 내부에서 팀이 토큰 사용량이 기하급수적으로 증가하는 상황에서도 AI 비용을 안정적으로 유지하는 방법을 모색하고 있으며, 이를 위한 방안은 사용 제한이나 빈번한 비용 알림이 아닌 더 최적화된 시스템 설계에 의존하는 것이라고 밝혔다.
그는 Coinbase가 주로 다섯 가지 측면에서 AI 사용 비용을 최적화하고 있다고 지적했다. 첫째는 ‘최적화된 기본 모델’로, 엔지니어가 모델을 자유롭게 선택할 수 있도록 허용하되, 시스템은 기본적으로 비용이 더 낮은 오픈소스 가중치 모델(예: GLM 5.2, Kimi 2.7)로 안내하며, 동시에 다양한 작업에 적합한 모델을 선택하도록 장려한다.둘째는 “지능형 라우팅”으로, 수작업 선택 대신 자동화 시스템을 통해 작업 유형, 캐시 적중률 및 모델 가격에 따라 최적의 모델을 할당합니다.
셋째는 “캐시 최적화”로, 캐시 적중률을 높여 중복 계산 비용을 현저히 줄입니다. 넷째는 “컨텍스트 간소화”로, 작업 전환 시 무효한 토큰 소모를 줄이고 불필요한 도구 호출을 제한합니다. 다섯째는 “가시화 및 투명성”으로, 엔지니어가 자신의 사용 현황을 명확히 파악할 수 있도록 하되, 제한을 통해 사용을 억제하지는 않습니다.
브라이언 암스트롱(Brian Armstrong)은 목표가 AI 사용을 억제하는 것이 아니라, 기하급수적인 성장을 뒷받침할 수 있는 인프라를 구축하는 것이라고 밝혔다. 실제 결과에 따르면, 토큰 사용량이 지속적으로 증가하는 상황에서도 전체 AI 지출은 거의 절반 수준으로 감소했다.