Hugging Face、IBM Researchのagent consistency評価を紹介

Hugging FaceはIBM ResearchのALTK-Evolve consistency guidelinesを紹介しました。AppWorldでReAct agentのMean@5は77.4%でも、同じtaskを5回すべて成功するPass^5は53.0%で、24.4ポイントのgapがあると説明しています。