Hugging Face首席政策官Irene Solaiman表示,AI模型评估方法复杂且仍在成熟,嵌入式AI评估器并非易解方案。

Solaiman在TechCrunch Disrupt会议上指出,AI实验室依赖模型基准测试来衡量产品优劣,但目前评估方法的可复现性、相互比较的有效性以及标准化程度均不足。她认为,评估正从模型本身扩展到包括harness和agent在内的整个系统,这使得评估变得更加困难和昂贵,需要更统一的行业方法。