Hugging Face의 최고 정책 책임자 Irene Solaiman은 AI 모델 평가 방법이 복잡하고 아직 성숙 단계에 있으며, 임베디드 AI 평가기는 쉬운 해결책이 아니라고 밝혔습니다.

Solaiman은 TechCrunch Disrupt 컨퍼런스에서 AI 연구소들이 제품의 우수성을 측정하기 위해 모델 벤치마킹에 의존하지만, 현재 평가 방법은 재현성, 상호 비교의 유효성, 표준화 정도가 모두 부족하다고 지적했습니다. 그녀는 평가가 모델 자체에서 하네스(harness)와 에이전트(agent)를 포함한 전체 시스템으로 확장되고 있어 평가가 더욱 어렵고 비용이 많이 들며, 보다 통일된 산업적 접근 방식이 필요하다고 주장했습니다.