Feb, 2021

利用发散前沿测量神经文本与人类文本之间的差距的 MAUVE

PDF
TL;DR介绍了 MAUVE 作为一种比较度量开放式文本生成的测量方法，通过分析信息的分布差异来判断机器生成文本与人类语言之间的距离，实验结果表明，MAUVE 可以有效评估生成文本质量，并与人类判断高度相关。
发现论文，激发创造
  • 关于使用嵌入、聚类和字符串进行文本生成器评估的实用性

    本文探究了自然语言生成中，自动评价方法之一的 Mauve metric 在理论与实践中的缺陷，并提出了基于聚类的代替方案，通过编码句法和一致性特征来评估文本生成方法。

    May, 2022

  • 相互信息散度：多模态生成模型的统一度量

    采用 CLIP 特征的负高斯交叉互信息度量被提出，用于评估 text-to-image generation 和 image captioning 任务的机器智能水平，与竞争指标相比具有一致性、样本简约性和鲁棒性，并在多模态表示学习中得到了广泛的应用。

    May, 2022

  • OpenMEVA：用于评估开放式故事生成指标的基准

    该研究提出了 OpenMEVA 标准，用于评估故事生成指标的能力，揭示了现有的自动度量标准与人类评估的相关性不足，并且缺乏推理能力，该研究为进一步研究自然语言生成模型和指标提出了启示。

    May, 2021

  • 在文本生成模型中联合测量多样性和质量

    本文章提出一种同时评估生成文本方法质量和多样性的度量标准，通过逼近学习生成模型和真实数据分布的距离，并介绍了基于 n-gram 和 BERT 特征的度量方法，并且在 Oracle 训练模式下使用相应显式分布之间的距离。最后，使用现有和提出的度量标准对最流行和最新的文本生成模型进行评估，确定提出度量标准的优势。

    Apr, 2019

  • DeepPavlov 参加 SemEval-2024 第 8 题：利用迁移学习检测机器生成文本边界

    该研究论文揭示了多生成器、多领域、多语言的黑盒机器生成文本检测共享任务，介绍了一种用于增强数据以进行监督微调的 DeBERTaV3 流水线，并在比赛排行榜中获得了最佳 MAE 得分。

    May, 2024

  • 对比式搜索与对比式解码在开放式文本生成中的实证研究

    本研究比较了两种最近提出的解码方法，即对比搜索（CS）和对比解码（CD），发现尽管 CS 在 MAUVE 指标上表现不佳，但在多样性和连贯性指标上大大超过 CD。人工评估显示，人类注释器普遍更喜欢 CS 而非 CD，MAUVE 与人工评估之间的矛盾表明 MAUVE 不准确反映人类偏好，需要开发更好的评估指标来确保生成结果的可复制性。

    Nov, 2022

  • FACE：使用交叉熵傅立叶分析评估自然语言生成

    通过实验结果，本文提出了一种计算机生成语言与人类自然语言之间相似性的新方法 FACE，该方法基于熵的周期性实证研究的结果，采用傅立叶分析和交叉熵等指标度量模型生成的语言与人类自然语言之间的相似性，并在计算效率和可解释性方面都表现优异。

    May, 2023

  • 评估生成文本的事实准确性

    该研究提出了一种基于模型的度量标准，用于评估生成的文本的事实准确性，并引入了一个新的基于维基百科和维基数据的大规模数据集来训练关系分类器和端到端事实提取模型。通过在维基百科文本摘要任务中分析多个模型的准确性并进行人类评估研究，论文展示了这些方法相对于 ROUGE 和其他无模型变量的方法的功效。

    May, 2019

  • 训练，分类，解释：学习诊断翻译模型

    本文介绍了一种基于神经文本分类器的方法，将自然语言处理中翻译模型的自动化评估与人类评估相结合，并揭示人机差异，其中包含翻译质量和人工智能的深入讨论。

    Mar, 2019

  • MISMATCH: 机器生成文本的细粒度误差类型评估

    本文提出了一种新的评估模型人类的七种 NLP 任务的机器文本的方案，并通过副任务和现有单一数字评估指标对模型进行了改进。

    Jun, 2023