ACLDec, 2023

用于评估句子级流畅性的无监督方法：我们真的需要参考吗？

PDF
TL;DR该研究在不使用参考文献的情况下，利用各种词嵌入和递归神经网络结构的语言模型，通过比较分析 10 种印度语言中的流畅度评分与人工判断的相关性，提供了一种测量文本流畅性的新方法。
fluencynatural language generationevaluation metricsword embeddingsrecurrent neural network
发现论文，激发创造
  • 在自然语言生成系统评估中，引用是否有必要？何时何地？

    基于广泛的实验，本研究全面评估了参考无关度量与参考度量在各种自然语言生成任务中的性能，并表明参考无关度量与人类判断有较高相关性，并对语言质量的不足更敏感，然而其有效性因任务而异，受候选文本质量影响。因此，在应用参考无关度量到新任务时，特别是在输入形式不常见或答案空间高度变化时，有必要评估其性能。本研究为自动度量的适当应用以及度量选择对评估性能的影响提供了洞察。

    Mar, 2024

  • 句子级流畅度评估：参考文献有帮助，但可以节省！

    本文提出了基于正态化的语言模型得分的句子级无参考流畅度评估度量 SLOR，并介绍了一种更紧凑的语言模型 WPSLOR。本研究还引入了基于参考的度量 ROUGE-LM，该度量在可用参考下获得了更高的相关性。

    Sep, 2018

  • 翻译模型缺乏流畅度的影响

    本文描述了一种基于梯度的机器翻译模型训练方法，在去除了语言偏差和提高流畅度的基础上，使用反转和增强技术提高翻译模型的性能。

    May, 2022

  • 生成文本的无参考评估的局限性

    我们的研究表明：参考文本的自由度量在评估生成文本方面存在固有的偏见和限制，因此建议将其作为分析和理解模型行为的诊断工具，而不是评估模型任务表现的指标。

    Oct, 2022

  • 为何我们需要新的自然语言生成评价指标

    本文探究了 NLG 评估中常用的自动化评估方法的局限性，并提出了一种系统和数据独立的新型评价方法，包括先进的基于词汇和基于语法的度量。实验证明，这些方法并不能完全反映人的判断，且表现受到数据与系统的影响。但是，自动评估仍可支持系统的开发，发现系统表现不佳的问题。

    Jul, 2017

  • 文本生成参考无关评估中的伪相关性

    本研究发现参考无关的自然语言生成系统的评估指标（即用于摘要和对话生成的评估指标）可能会依赖于与诸如单词重叠，困惑度和长度等指标的虚假相关性。同时，我们注意到当评估最先进的抽象化摘要系统时，这些指标具有高错误率，但可以通过明确设计避免参考无关特征进行评估指标以减轻这种错误。

    Apr, 2022

  • 机器翻译无参考同行评估评估

    通过使用大型多语言模型的概率作为参考度量标准，本文尝试了各种修改以推进无参考评估，并且分析了一些潜在的弱点，结果表明这种方法是出乎意料的稳健，可能在广泛领域和系统质量方面提供合理的性能。

    Apr, 2021

  • 口语阅读流利度评估的深度学习

    评估阅读流畅性的自动化工具在教育干预中起着重要作用，本研究采用 pre-trained wav2vec2.0 模型对儿童故事文本的音频录音进行端到端建模，并对阅读流畅性知觉相关的词汇和声学 - 韵律特征进行了分析。

    May, 2024

  • 非神经模型也很重要：对神经指代表达生成系统的重新评估

    本文旨在在生成语言上考虑基于非神经网络模型的表现，以推广广义的自然语言生成技术，并在针对两个数据集的实验中发现，某些任务使用非神经网络模型能够比神经模型获得更好的性能。

    Mar, 2022

  • 面向大型语言模型驱动的无参考翻译评估方法：英语和印度语言

    本研究评估大型语言模型对于自动无参考翻译评估的有效性，并通过模拟人类直接评估的实验来评估英语和印度语言译文的质量。通过构建一个翻译评估任务，我们进行了零样本学习、上下文示例驱动学习和大型语言模型微调，从而提供了一个 0 到 100 的分数，其中 100 表示完美的翻译，1 表示糟糕的翻译。我们将经过训练的系统与现有方法（如 COMET、BERT-Scorer 和 LABSE）进行比较，发现基于大型语言模型的评估器（LLaMA-2-13B）在考虑的印度语言对上实现了相当或更高的整体相关性与人类判断。

    Apr, 2024