EMNLPNov, 2023

词汇重复导致机械记忆：揭示训练和测试参考摘要中词汇重叠的影响

PDF
TL;DR理想的摘要模型应该能推广到新的值得摘要的内容，而不需要死记参考训练摘要，我们提出了一种细粒度的评估协议，通过基于参考测试摘要与训练摘要之间的词汇相似性将测试集划分，限制训练摘要中的词汇重复能够防止死记硬背，并提高摘要模型的泛化性。
发现论文，激发创造
  • 基于 RL 的句子摘要中语法蕴含的质量

    本文比较了强化学习（RL）和基于句法的模型（如基于词性标注和依存信息的模型）两种文摘方法的优劣，并探究了它们在生成摘要时的影响，得出了使用两种方法的联合模型在质量评估方面表现最佳，但仅使用强化学习的训练无需更少的参数和更快的训练收敛即可得到与基于句法模型相近的好结果。

    Dec, 2019

  • 在抽象摘要中平衡词汇和语义质量

    本文针对序列到序列的神经网络中常见的曝光偏差问题，提出了一种在词法和语义质量之间平衡的重排序方法，并以 BERTScore 为衡量标准，在 CNN/DailyMail 数据集上实现了新的最优表现。

    May, 2023

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • 随着更大的模型和更长的训练，词汇泛化能力提高

    该研究分析了自然语言推理、释义检测和阅读理解中词汇重叠启发式的使用，发现更大的模型较不容易采用词汇重叠启发式，并且更长的训练会导致模型放弃使用词汇重叠启发式，最后提供证据表明模型大小差异的根源在于预训练模型。

    Oct, 2022

  • 从人类反馈中学习摘要

    通过使用强化学习优化模型的奖励函数来预测人类偏好总结，本文展示了可显著提高总结质量的可能性，并在 TL;DR 数据集上取得了显著的优势。

    Sep, 2020

  • 通过对比学习无监督无参考摘要质量评估

    本研究提出了一种基于 BERT 的新度量方法，通过无监督对比学习，评估文档摘要的质量，并且证明了该方法可以在没有参考摘要的情况下胜过其他指标。

    Oct, 2020

  • 抽象神经摘要器中的自我重复性

    对神经文摘的自我重复进行定量和定性分析。分析了三种神经网络结构（BART，T5 和 Pegasus），发现 BART 特别容易出现自我重复，并且 fine-tuning 在更具抽象性的数据和在特定领域的数据上都会导致更高的自我重复率。

    Oct, 2022

  • 利用词嵌入进行 ROUGE 更好的摘要评估

    本文探讨了借助 Word Embedding 计算摘要中的语义相似度来代替传统的基于词汇重叠度的 ROUGE 自动评估方法存在的偏差，实验结果显示该方法比传统方法更能准确地与人工评估结果相符。

    Aug, 2015

  • 重温科技论文摘要评估

    本篇论文专门研究了用于科技文章摘要的评估度量，对 ROUGE 的效果进行广泛分析，发现 ROUGE 不太可靠，提出了 SERA 作为科技文章摘要评估的一种有效指标。

    Apr, 2016

  • ROUGE 2.0: 更新和改进的自动文摘任务评估指标

    介绍 ROUGE2.0 对机器生成的摘要的自动评估方法，包括 ROUGE-N + 同义词、ROUGE-Topic、ROUGE-Topic + 同义词、ROUGE-TopicUniq 和 ROUGE-TopicUniq + 同义词等几种改进的 ROUGE 指标，用于改善原有指标在捕捉同义概念和内容覆盖方面的局限性。

    Mar, 2018