Hugging Faceの最高政策責任者であるアイリーン・ソライマン氏は、AIモデルの評価方法は複雑でまだ成熟しておらず、組み込み型AI評価器は簡単な解決策ではないと述べた。

ソライマン氏はTechCrunch Disrupt会議で、AIラボは製品の優劣を測るためにモデルのベンチマークテストに依存しているが、現在の評価方法は再現性、相互比較の有効性、標準化のいずれも不十分であると指摘した。彼女は、評価がモデル自体からハーネスやエージェントを含むシステム全体に拡大しており、これにより評価はより困難で高価になり、より統一された業界アプローチが必要になると考えている。