ACLJun, 2021

跨语言文本摘要评估的有效性评估

PDF
TL;DR本文旨在系统评估英语汇总评估方法在其他语言下的效力，并通过对八种不同语言的汇总语料库进行人工注释和 19 种汇总评估指标的评估，发现使用多语言 BERT 作为 BERTScore 的评估方法在所有语言下均表现出良好的效果，超过了英文水平。
automatic summarizationevaluation metricsmultilingual bertpanlinguistic efficacysummarization corpus
发现论文，激发创造
  • 文本摘要质量评估方法的比较研究

    基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

    Jun, 2024

  • 如何评估摘要生成器：手动语言质量评估的研究设计和统计分析

    通过对最近总结系统论文的调查，我们发现，在如何进行这样的评估研究方面存在很少的一致性。我们进行了两个评估实验来比较 Likert 类型和排名注释，并展示了评估方法的最佳选择可能因一个方面与另一个方面不同。使用我们的评估实验，我们展示了注释者的总数对研究功率有很强的影响，而目前的统计分析方法在把一个注释者判定多个摘要时会夸大 Ⅰ 类错误率高达 8 倍。此外，我们强调，为了进行系统比较，当前的实践是在一个固定的研究预算中引出多个判断，这会导致注释功率和可靠性较弱。

    Jan, 2021

  • SummEval: 重评摘要评估

    本文针对现有的缺陷和问题，提出了五个维度的解决方案，从而能够扩大文本摘要的评估标准，并且进一步研究出与人类判断更加相关的评价指标。

    Jul, 2020

  • 寻找有效的多语言微调方法：摘要中的案例研究

    本文针对文本摘要领域的多语言学习，对三种多语言调优策略（共五个模型）进行广泛的实证评估，实验覆盖 45 种语言，旨在为多语言调优策略设计提供参考。实验结果在 XL-Sum 数据集上取得了新的最佳表现。

    Dec, 2022

  • X-SCITLDR：学术文献的跨语言极端摘要

    本研究填补了前人研究的空白，提出了一个多语种的学术领域摘要数据集，基于此我们能够训练和评估处理英语论文并生成德语、意大利语、汉语和日语摘要的模型，同时分析了在零样本和少样本情况下训练的性能。

    May, 2022

  • 朝向可解释和高效的基于参考文献的自动文摘评估

    本研究旨在开发两种不同的自动评估测量标准来评价文本摘要的质量，其中包括两种可以在单元级别和总结级别上提供高可解释性的两阶段测量标准和一种在效率和互操作性之间取得平衡的一阶段测量标准。同时，我们开发的工具已经通过 Python 软件包和 GitHub 免费提供给公众。

    Mar, 2023

  • 文本摘要中评价的重评估

    本文重新评估了文本摘要的评估方法，使用最新的数据集和系统输出来评估评估指标的可靠性，并发现旧数据集上对评估指标的结论不一定适用于现代数据集和系统。

    Oct, 2020

  • 跨语言摘要模型与数据集

    本文介绍了使用跨语言文献和维基百科创建的跨语言摘要语料库，在多种语言和方向上建立了多句子摘要数据。作者使用自动指标并进行人类研究，验证了所提出的跨语言摘要任务。最后，作者还用该数据集和多语言预训练模型进行了大量的实验证明其实用性。

    Feb, 2022

  • 基于交叉编码器的综合摘要质量评估指标 SummScore

    提出了一种综合的衡量文本摘要质量的度量标准 SummScore，使用 CrossEncoder 作为基础模型，并采用四个精细化的子模型来分别衡量连贯性、一致性、流畅度和相关性，并在极度受限的标注数据上进行半监督多轮训练，显著优于现有的评估指标。

    Jul, 2022

  • 跨语言摘要的自动数据检索

    英语到印地语的跨语种摘要涉及文本摘要转换为另一种语言。本研究的目标是通过匹配文字和视频格式中有新闻价值的事件的报道来进行英语到印地语的跨语种摘要，以帮助数据获取。我们通过分析数据并提出方法，将文章与视频描述匹配为文档和摘要对，并提出了过滤方法以确保摘要的正确性。此外，我们提供了 28583 个单语和跨语种的文章 - 摘要对，并在收集的数据上建立和分析了多个基准，并报告了错误分析。

    Dec, 2023