automatic evaluation metrics | BriefGPT

关键词automatic evaluation metrics

搜索结果 - 48

通过语义相似性学习能更好地实现抽象摘要化
本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数
PDF4 years ago
ICCV通过预测故事中的锚定词嵌入进行视觉叙事
提出了一种用于视觉故事叙述任务的学习模型，其主要思想是从图片中预测锚定词嵌入，并联合使用嵌入和图片特征生成叙述句，方法设计简单，易优化，在大多数自动评估指标中取得最佳结果，在人员评估中也优于竞争方法。
PDF4 years ago
EMNLP利用关键背景提高问题生成
该研究提出了一种新的问句生成方法，通过同时建模结构化的答案相关关系和非结构化的句子来生成准确简短的问题，在多项自动评估指标上实现了显著的提升，并可针对包含多个答案相关关系的句子生成多种问句。
PDF5 years ago
ACL人工评价与自动评价：相关性设计的重要性
本文讨论了在自然语言生成领域中，自动评估度量和人类评分之间相关性分析的两种方法。我们的实验表明，根据使用系统级或句子级相关性分析，自动评分和人类判断之间的相关性结果是不一致的。
PDF6 years ago
MMLIUM-CVC 对 WMT17 多模态翻译任务的提交
本文介绍了由 LIUM 和 CVC 开发的单模态和多模态神经机器翻译系统，其中探索了两种多模态架构，最终的系统根据自动评估指标 METEOR 和 BLEU 在 En-De 和 En-Fr 语言对中排名第一。
PDF7 years ago
ECCVSPICE：语义命题图像字幕评估
提出了基于场景图谱的自动生成图像标题评估指标 SPICE，其捕捉人类判断模型生成标题的能力优于现有指标，并能回答哪个标题生成器更懂颜色和能否计数等问题。
PDF8 years ago
EMNLP如何不评估您的对话系统：对话响应生成任务无监督评估指标的实证研究
本文研究对话响应生成系统的评估指标，其中没有可用的监督标签。最近，对话响应生成的研究采用了机器翻译的指标来比较模型生成的响应和单个目标响应。我们展示了这些指标与非技术 Twitter 领域中的人类判断之间的关系非常弱，而在技术 Ubuntu
PDF8 years ago
探索图像描述中的最近邻方法
本文研究基于最近邻算法的图像字幕生成方法，利用自动评估指标在 MS COCO 评估服务器上进行评估，结果表明该方法与最近的一些新颖生成方法相同，但人类研究表明生成新颖字幕的方法仍优于最近邻方法。
PDF9 years ago