Svmuu 소식 Coinbase는 7월 14일 서비스 중단 사건에 대한 사후 분석 보고서를 발표하며, 이번 사고는 정기적인 구성 업데이트 과정에서 발생한 핵심 네트워크 구성 요소의 잘못된 구성으로 인해 발생했으며, 영향은 약 50분간 지속되었으나 이 기간 동안 사용자 자금은 항상 안전하게 보호되었다고 밝혔습니다.
Coinbase 회사는 베이징 시간 7월 14일 12:34(미국 동부 시간 12:34)에 핵심 인프라 서비스를 호스팅하는 공유 프로덕션 Kubernetes 클러스터에 정기적인 구성 변경을 적용했다고 밝혔다. 이 업데이트는 시스템 성능과 안정성을 향상시키기 위해 새로운 서비스 배포 모드로 전환하기 위한 것이었다.
그러나 리소스 이름 충돌이 사전 생산 환경 검사 메커니즘에 의해 탐지되지 않아, 이번 구성 변경이 클러스터 내 Istio 인그레스 게이트웨이(Ingress Gateway) 관련 쿠버네티스 리소스에 예기치 않게 영향을 미쳐 해당 네트워크 구성 요소가 사용 불가능해졌습니다. 약 3분 후, 클러스터의 모든 인바운드 트래픽이 중단되어 내부 서비스가 여러 인프라 구성 요소에 접근할 수 없게 되었습니다.
Coinbase 에 따르면, 거래 결제, 자금 이체, 은행 카드 거래 승인 등 수많은 비동기 워크플로가 이러한 인프라 서비스에 의존하고 있었기 때문에 여러 사업 부문이 영향을 받았습니다. 영향을 받은 서비스는 다음과 같습니다.
소매 사용자는 체인 외부 거래, 충전 및 출금을 완료할 수 없었으며, 일부 처리 중인 거래는 중단된 상태로 표시되었다가 서비스 복구 후 완료되었습니다;
Coinbase Card 직불카드 거래가 일시적으로 실패했으나, 신용카드 결제는 영향을 받지 않았으나 일부 카드 관리 기능을 사용할 수 없었습니다;
Coinbase DEX의 Base 및 Solana 상 온체인 교환 서비스가 중단되었습니다;
Coinbase Exchange 및 Prime 기관 고객 대상 송금 및 결제 실패 또는 지연이 발생했습니다;
Coinbase Developer Platform 고객은 계정 개설, 자금 이체 및 입금 서비스를 완료할 수 없었습니다.
Coinbase 에 따르면, 엔트리넷은 미국 동부 표준시 기준 13:20에 서비스를 복구했으며, 사건은 13:23에 해결되었습니다. 이후 시스템은 밀린 작업을 처리하기 시작했고, 대부분의 서비스는 빠르게 정상화되었으며, 나머지 대기열은 이후 몇 시간 내에 처리가 완료되었습니다. 복구 과정에서 Coinbase는 두 가지 추가적인 난관에 직면했습니다.첫째, 배포 도구 자체가 영향을 받은 엔트리 게이트웨이의 작동에 의존하고 있어 일반적인 롤백 절차를 실행할 수 없었고, 이로 인해 “장애가 복구 도구에 영향을 미치는” 순환 의존성이 발생했다. 둘째, 긴급 복구 절차(break-glass access)는 효과적이었으나, 권한 검증 및 수동 검토 절차로 인해 복구 시간이 늘어났다.
Coinbase 는 이번 사건이 자산 보안 위험과는 무관하지만, 대규모 금융 인프라가 자동 배포, 시스템 의존성 및 재해 복구 메커니즘 측면에서 여전히 지속적인 개선이 필요함을 드러냈다고 밝혔다. 회사는 유사한 사건의 재발 가능성을 낮추기 위해 시스템 복원력 강화를 더욱 추진할 예정이다.