dialogue evaluation | BriefGPT

关键词dialogue evaluation

搜索结果 - 8

AAAILLM 作为计分员：输出顺序对对话评估的影响
研究通过大型语言模型（LLMs）研究提示设计对对话评估的影响。我们的研究实验了不同的提示结构，发现呈现原因和评分的顺序显著影响 LLMs 的评分，使用先给出原因的方法能够得到更全面的评估结果，该发现对于提高 LLM 的评估准确性和一致性至关
PDFa month ago
EMNLPxDial-Eval: 多语言开放领域对话评估基准
使用预训练语言模型和高质量标注的对话数据，最近关于开放域对话评估的无参考学习测量的进展主要集中在英文对话上，对这些测量指标在其他语言上的泛化性还没有得到充分研究。因此，为了解决这个问题，我们引入了一个基于英文对话评估数据集的 xDial-E
PDF9 months ago
如何选择聊天机器人：用于对话指标评估的大规模多系统多参考数据集
发布 MMSMR 数据集以促进关于对话度量和评估的未来研究。在单个参考评估集基础上创建了 8 个参考对话数据集，训练了 1750 个系统，并在 Novel 数据集和 DailyDialog 数据集上评估了各个系统的性能指标和模型超参数。
PDFa year ago
SelF-Eval: 自监督细粒度对话评估
本文提出了一个新颖的自监督细粒度对话评估框架 SelF-Eval，该框架的核心思想是建立对话质量和对话中每个交互回合质量之间的相关性模型。采用多级对比学习架构训练 SelF-Eval，并提出一种可自动分配细粒度分数的对话数据构建方法，实验结
PDF2 years ago
基于相关系数缩放的多度量评估用于开放域对话评估
我们提出了一种基于多指标评价和相关性重刻的开放领域对话评价方法，其可以全面评估对话质量，且在 DSTC10 track5 subtask1 Automatic Open-domain Dialogue Evaluation Challeng
PDF2 years ago
EMNLPFlowEval: 使用分段 Act Flows 的基于共识的对话评估框架
提出了一种基于段落的对话评估框架 FlowEval，该框架使用流的形式来利用段落行为信息进行评估，并利用众包构建了一个大规模的段落行为数据集，实验结果表明该框架具有更好的评估效果和其他有益特性。
PDF2 years ago
AAAIMDD-Eval：基于增强数据的自训练多领域对话评估
提出了 MDD-Eval 框架，通过对话内评价与跨领域自学得到多领域评价能力，从而使得相较于现有自动对话评价指标，其在 6 个评价基准测试中可以取得 7% 的平均 Spearman 相关性分数的显著提高。
PDF3 years ago
ACL迈向自动图灵测试：学习对话响应评估
提出 ADEM 模型用于对话质量的学习式自动评估，其比基于词汇重叠的 BLEU 更能与人类评估相匹配，同时具有泛化评估不同模型的能力。
PDF7 years ago