EMNLPOct, 2023

动态 Top-k 估计整合特征归因方法之间的分歧

PDF
TL;DR从归属度量的序列特性来确认应该显示的最佳 k 个令牌数量。在 NLI 任务中，通过比较多种方法和人类之间的一致性，发现基于扰动的方法和 Vanilla Gradient 在静态 k 的大多数方法 - 方法和方法 - 人类一致性指标上具有最高的一致性，但随着动态 ks 的引入，他们相对于 Integrated Gradient 和 GradientXInput 的优势逐渐消失。据我们所知，这是归属度量序列特性在人类解释方面提供信息的首个证据。
发现论文，激发创造
  • 机器翻译人类评估的有效性改进探讨

    本研究探讨了一种简单的降低标注成本的方法，即采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，从而在固定标注预算下获得更高的准确性。在测试集上，相比于纯随机抽样，平均误差降低了高达 20%。该技术易于实现且适用于类似结构的问题。

    Apr, 2022

  • 针对条件自然语言生成的分布感知度量

    本文提出了一个新的方法对多样本设置下条件语言生成模型进行评估，通过对多个生成的结果进行比较，以区分单一描述和多样性质的差异并提出一些结论。

    Sep, 2022

  • 自动度量文本生成偏好评级中的错误校正

    本文介绍了一种基于统计模型的文本生成评估方法，利用自动化度量的优点和人工评级的精度，通过最佳组合的方式来改进文本生成评估的准确度，而且只需要使用人工评注的 50% 即可获得与 100% 人工评级相同的评估结果。

    Jun, 2023

  • 基于经验的度量偏好清单：超越相关性分析的自然语言生成评估指标

    该研究分析了基于人类评估方面作为上下文或目标来计算 NLG 自动度量的自动度量，并提出了度量偏好清单作为评估自动度量在三个 NLG 任务中的区分能力的框架。研究显示，多方面的人性化度量并不一定比单方面的人性化度量和任务不可知度量更为优越，并且自动度量在一些情况下提供了比人类更好的指导。该框架提供了验证自动度量是否忠实于人类偏好的访问，以及审查 NLG 系统的优势和局限性的能力。

    May, 2023

  • 将主观众评估作为改进自然语言生成的附加客观标准的估计

    本文探讨在多任务学习设置中，使用主观评估作为语言生成模型训练的一部分，并使用群众创作对话语料库对六种不同的语言生成模型进行微调。评估显示，多任务学习的模型生成的话语在主观上评分最高，且在推动对话发展、无冒犯性等方面得分最高。因此，将来可以研究将主观人类评估纳入语言生成模型训练中，从而在开发过程中更好地与人类用户进行交互。

    Apr, 2021

  • 使用重采样方法进行摘要评估度量的统计分析

    本文介绍了利用自主重采样方法来计算置信区间和运行假设检验的方法， 并对几个自动评估度量进行了分析，发现自动评估度量的可靠性存在高度不确定性

    Mar, 2021

  • 自然语言生成指标在系统水平的统计优势

    本文分析了自动测量指标和人类判断系统质量估计方面的优劣，指出在人类判断样本数少或对比系统之间质量差异小时自动测量指标能优于人类判断。

    May, 2021

  • Active Evaluation: 用少量成对比较有效评估自然语言生成 (NLG)

    本文介绍了一种名为 Active Evaluation 的框架，它可以通过使用对决式神经网络算法来主动地选择系统对进行比较，从而有效地降低手动注释的数量，并进一步提出了基于模型的对决式神经网络算法，将自动评估指标与人工评估相结合，从而进一步降低了人类注释的数量。

    Mar, 2022

  • 评估抽象文本摘要的事实一致性

    该研究提出了一种弱监督、基于模型的方法来验证摘要的事实一致性，并鉴别来源文献和生成的摘要之间的冲突。

    Oct, 2019

  • 评估测量经常在低分数范围内出现分歧：重新审视摘要评估测量指标

    本文讨论了人工评价与自动评价在文本摘要中的应用，并提出了评价指标间的差异和相关性。研究发现评价指标的互相协议性取决于摘要的得分范围、摘要易于摘要的程度、摘要抽象程度和覆盖范围等方面。

    Nov, 2020