Hugging Face首席政策官Irene Solaiman表示,AI模型評估方法複雜且仍在成熟,嵌入式AI評估器並非易解方案。

Solaiman在TechCrunch Disrupt會議上指出,AI實驗室依賴模型基準測試來衡量產品優劣,但目前評估方法的可復現性、相互比較的有效性以及標準化程度均不足。她認為,評估正從模型本身擴展到包括harness和agent在內的整個系統,這使得評估變得更加困難和昂貴,需要更統一的行業方法。