ACLMay, 2020

SUPERT：面向多文档摘要的无监督评估指标的新领域

PDF
TL;DR该研究提供了一种新的评价未经监督的多文档摘要技术的方法，使用上下文化嵌入和软标记对齐技术对其语义相似性进行评估，并提出了一个可用于引导深度学习模型的奖励函数，其在性能上优于现有的未监督摘要模型。
unsupervised multi-document summarizationevaluation metricssemantic similaritycontextualized embeddingsreinforcement learning summarizer
发现论文，激发创造
  • 通过对比学习无监督无参考摘要质量评估

    本研究提出了一种基于 BERT 的新度量方法，通过无监督对比学习，评估文档摘要的质量，并且证明了该方法可以在没有参考摘要的情况下胜过其他指标。

    Oct, 2020

  • SueNes：一种弱监督方法通过负采样评估单文档摘要

    本文提出了一种无需参考摘要的弱监督自动摘要评估方法，通过将现有摘要数据集中的大量数据与损坏的参考摘要进行配对来训练，实现了横向领域测试，证明了该方法在语言质量评估方面具有很大优势。

    May, 2020

  • 文本摘要质量评估方法的比较研究

    基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

    Jun, 2024

  • 无监督摘要的句子重要性再探讨

    本文提出了一种针对新闻摘要自动提取的无监督方法，该方法采用神经网络模型并结合基于图论的排名算法，使用 BERT 模型来更好地捕获句子意义，显著超过强基线的效果。

    Jun, 2019

  • 一种无需训练和参考的摘要评估度量方法：基于中心性加权相关性和自我引用冗余度量

    该论文提出了一种无需参考文献且无需训练的摘要评估度量方法，包括中心性加权相关度分数和自我参考冗余分数。实验结果表明，该方法在单篇和多篇文档摘要评估方面显著优于现有方法。

    Jun, 2021

  • 长篇科学文档的基于话语的无监督摘要

    本文提出了一种基于无监督的基于图的排名模型，用于提取科学文献的摘要。我们的方法假定源文档采用两级分层图表示，并利用不对称的位置提示来确定句子的重要性。在 PubMed 和 arXiv 数据集上的结果表明，我们的方法在自动指标和人工评价方面优于强无监督基线。此外，其性能与许多基于监督学习的方法相当。这些结果表明，篇章结构中的模式是确定科学文章重要性的强有力信号。

    May, 2020

  • SummEval: 重评摘要评估

    本文针对现有的缺陷和问题，提出了五个维度的解决方案，从而能够扩大文本摘要的评估标准，并且进一步研究出与人类判断更加相关的评价指标。

    Jul, 2020

  • 朝向可解释和高效的基于参考文献的自动文摘评估

    本研究旨在开发两种不同的自动评估测量标准来评价文本摘要的质量，其中包括两种可以在单元级别和总结级别上提供高可解释性的两阶段测量标准和一种在效率和互操作性之间取得平衡的一阶段测量标准。同时，我们开发的工具已经通过 Python 软件包和 GitHub 免费提供给公众。

    Mar, 2023

  • USCORE: 机器翻译完全无监督评价度量的有效方法

    本研究开发了全无监督评估指标，利用评估指标的彼此相似性和协同作用、平行语料库挖掘和机器翻译系统等方法，以及迭代地挖掘伪平行数据、对不足的基础矢量空间重新映射并诱导无监督机器翻译系统，最终提供伪参考作为度量的附加组件，同时还利用伪平行数据诱导无监督多语言句子嵌入。结果表明，我们的全无监督度量是有效的，在 5 个数据集中的 4 个上打败了监督竞争对手。

    Feb, 2022

  • 无监督抽取式摘要中句子相似度估计的改进

    研究了两种新策略以提高自动抽取摘要的句子相似度估计，其中对比学习优化了文本级目标，同时使用互相学习增强句子相似度估计与句子重要性排名之间的关系。实验结果显示了策略的有效性。

    Feb, 2023