Svmuuニュース Coinbase は、7月14日に発生したサービス中断事象に関する事後分析レポートを発表し、今回の事故は定期的な設定更新に起因する主要ネットワークコンポーネントの設定ミスによって引き起こされたものであり、影響は約50分間続いたが、その間、ユーザーの資金は常に安全であったと述べた。
Coinbase 同社によると、北京時間7月14日12時34分(米国東部時間12時34分)、コアインフラストラクチャサービスを担う共有本番用Kubernetesクラスターに対し、定期的な設定変更が適用された。この更新は、システムのパフォーマンスと信頼性を向上させるため、新しいサービス展開モデルへの移行を目的として計画されていたものである。
しかし、リソース名の競合がプレプロダクション環境の検出メカニズムによって見逃されたため、今回の設定変更がクラスター内のIstioイングリッシュゲートウェイ(Ingress Gateway)に関連するKubernetesリソースに予期せず影響を及ぼし、当該ネットワークコンポーネントが利用不能となった。約3分後、クラスターへのすべてのインバウンドトラフィックが遮断され、内部サービスが複数のインフラストラクチャコンポーネントにアクセスできなくなった。
Coinbase によると、取引決済、資金振替、銀行カード取引の承認などのプロセスを含む多数の非同期ワークフローがこれらのインフラサービスに依存していたため、複数の事業部門が影響を受けました。影響を受けたサービスは以下の通りです:
個人ユーザーはオフチェーン取引、チャージ、出金を完了できず、処理中の取引の一部が「スタック」状態と表示されましたが、サービス復旧後に完了しました;
Coinbase Cardのデビットカード取引が一時的に失敗した。クレジットカード決済には影響がなかったが、一部のカード管理機能が利用できない状態となった;
Coinbase DEXのBaseおよびSolana上でのオンチェーン交換サービスが一時停止した;
Coinbase ExchangeおよびPrimeの機関顧客において、送金および決済の失敗や遅延が発生した;
Coinbase Developer Platformの顧客は、アカウント開設、資金移動、および入金サービスを利用できなかった。
Coinbase によると、入口ゲートウェイは米国東部時間13:20に復旧し、事態は13:23に収束した。その後、システムは滞留していたタスクの処理を開始し、大部分のサービスはすぐに正常に戻り、残りのキューはその後数時間以内に処理が完了した。復旧の過程で、Coinbaseは2つの追加の課題に直面した。第一に、デプロイメントツール自体が影響を受けたゲートウェイの稼働に依存していたため、通常のロールバックプロセスを実行できず、「障害が修復ツールの動作に影響を与える」という循環的な依存関係が生じた。第二に、緊急復旧プロセス(break-glass access)は有効であったものの、権限認証や手動による審査プロセスが復旧時間を延長させた。
Coinbase は、今回のインシデントは資産のセキュリティリスクには関与していないものの、大規模な金融インフラにおいて、自動デプロイ、システムの依存関係、および災害復旧メカニズムの継続的な最適化が依然として必要であることを浮き彫りにしたと述べています。同社は、同様のインシデントが再発する確率を低減するため、システムのレジリエンス強化をさらに推進していく方針です。