Arm은 최근 Agent용 CPU 성능 평가 방법론을 발표했습니다. 이는 실제 애플리케이션 시나리오에 더 가까운 테스트를 통해 기업이 Agent 작업에서 다양한 CPU의 성능을 판단하는 데 도움을 주기 위함입니다.

Agent 애플리케이션 시나리오가 계속해서 세분화됨에 따라, Agent는 대규모 모델을 호출하여 추론하는 것 외에도 데이터베이스 액세스, 코드 실행, 도구 호출 등을 수행해야 합니다. 이러한 과정은 많은 CPU 자원을 소모하여 GPU 유휴 상태를 초래할 수 있습니다. Arm 클라우드 AI 솔루션 아키텍처 디렉터인 Ravi Malhotra는 CPU가 자체 작업을 신속하게 완료할 수 있는지 여부가 전반적인 효율성에 매우 중요하다고 지적했습니다. 이번에 Arm이 제안한 방법론은 구성 요소 수준 테스트와 종단 간 Agent 벤치마크 테스트를 결합하여 Agent 동시성 수, 작업 실행 효율성 및 랙당 성능에 중점을 둡니다. 또한 기업이 자체 애플리케이션에 따라 평가 지표를 선택할 것을 권장합니다.