evaluation models | BriefGPT

关键词evaluation models

搜索结果 - 5

弱奖励模型转化为稳健因果事件提取系统
通过训练评估模型以近似人类评估并强调语义理解，我们成功地探索了一种通过多个数据集进行增强学习，并通过将在一个数据集上训练的评估模型转移到另一个数据集以减少对人工注释数据的依赖的方法，同时还提出了一种弱到强监督的方法，用于使用部分标注数据来训
PDF8 days ago
数字代理的自主评估和优化
使用通用自动评估器能够显著提高网络导航和设备控制代理的性能，并通过精确的推理成本、设计模块性以及准确性之间的权衡实验了多个评估模型；通过微调和推理时指导使用这些评估器来提高现有代理的性能，在 WebArena 受欢迎的基准测试中，不需要任何
PDF3 months ago
在自然语言生成系统评估中，引用是否有必要？何时何地？
基于广泛的实验，本研究全面评估了参考无关度量与参考度量在各种自然语言生成任务中的性能，并表明参考无关度量与人类判断有较高相关性，并对语言质量的不足更敏感，然而其有效性因任务而异，受候选文本质量影响。因此，在应用参考无关度量到新任务时，特别是
PDF3 months ago
CritiqueLLM: 扩展 LLM-as-Critic 以有效且可解释地评估大型语言模型生成
自然语言处理社区开始让大规模语言模型（如 GPT-4）扮演批评家以评估生成文本质量，大部分仅在特定数据集上训练特定规模的批判生成模型，我们认为缺乏对于基于语言模型评估模型的关键因素（如可扩展性特性）的全面调查，因此目前是否有潜力在实际场景中
PDF7 months ago
简单的 LLM 提示是稳健多语言对话评估的尖端技术
研究通过结合当前评估模型的优势与新建立的提示性大语言模型的范式，提出了一种新颖的框架，以实现对对话的鲁棒性和多语言性评估能力，并在多个基准测试中取得了最先进的成果，并在 DSTC11 轨道 4 “开放领域对话系统的自动评估指标” 中分别在鲁
PDF10 months ago