씨티 AI 인프라 서밋 회의록에 따르면, AI 워크로드의 복잡성이 증가함에 따라 인프라는 상호 연결 효율성, 메모리 용량, 대역폭, 전력 소비 및 비용 문제를 동시에 해결해야 합니다. 브로드컴은 이더넷이 대규모 AI 인프라의 선호되는 상호 연결 솔루션이 될 것이며, 5년간의 총 소유 비용(TCO)을 30% 이상 절감할 수 있다고 믿습니다. 삼성은 HBM 로드맵을 공개하며, 차세대 zHBM이 HBM5 대비 단일 GPU 성능을 4~8배 향상시키고 열 저항을 75%~90% 감소시킬 것으로 예상했습니다. 마벨은 KV 캐시의 메모리 계층 최적화에 중점을 두었으며, AWS는 맞춤형 칩을 통해 메모리 대역폭 경제성을 향상시켰습니다.