Jun, 2024

HeSum：一个用于希伯来文抽象文本摘要的新数据集

PDF
TL;DR该论文引入了 HeSum，一个专为现代希伯来语抽象文本摘要而设计的基准测试集，其中包含从专业人士撰写的希伯来语新闻网站中获取的 1 万个文章 - 摘要对。通过语言分析，我们证实了 HeSum 的高度抽象性和独特的形态学挑战。我们展示了 HeSum 对于当代最先进的大型语言模型来说具有明显的困难，从而将其确立为希伯来语的生成语言技术以及 MRL 的生成挑战的有价值的试验平台。
发现论文，激发创造
  • HunSum-1：匈牙利文抽象摘要数据集

    介绍 HunSum-1: 一个用于匈牙利摘要生成的数据集，包含 114 万条新闻文章；该数据集是通过 CommonCrawl 从 9 个主要的匈牙利新闻网站收集，清理和去重而构建的；使用该数据集，我们基于 huBERT 和 mT5 构建抽象摘要模型，并对模型结果进行了定量和定性分析。

    Feb, 2023

  • XL-Sum：针对 44 种语言的大规模多语言抽象摘要

    该研究介绍了一份名为 “XL-Sum” 的全面而多样化的数据集，其中包含来自 44 种语言的 100 万篇新闻文章及其摘要，旨在支持跨语言抽象文本摘要的未来研究工作，且在许多语言上可实现尤其高的 ROUGE-2 分数。

    Jun, 2021

  • 从新闻到摘要：构建一个用于抽取和概括式摘要的匈牙利语语料库

    训练摘要模型需要大量的训练数据。然而，对于像匈牙利语这样资源有限的语言，公开可用的模型和数据集明显稀缺。为了填补这个空白，我们的论文介绍了 HunSum-2，这是一个开源的匈牙利语语料库，适用于训练抽象和提取式摘要模型。该数据集经过了详细的清洗、预处理和去重。除了抽象摘要外，我们还使用句子相似度生成句子级标签，用于提取式摘要。我们使用收集到的数据集训练了提取式和抽象式摘要的基线模型。为了证明训练模型的有效性，我们进行了定量和定性评估。我们的数据集、模型和代码都是公开可用的，鼓励复制、进一步研究以及在各个领域进行实际应用。

    Apr, 2024

  • SAMSum Corpus: 一个人工标注的对话文本数据集用于提取式摘要

    本研究介绍了 SAMSum 语料库，这是一个新的抽象对话摘要数据集，研究人员使用多个模型进行测试，并将其结果与新闻文章语料库的结果进行比较，结果显示与人类评估者的判断相反，模型生成的对话摘要具有更高的 ROUGE 分数，这表明需要使用专用模型和非标准质量度量的抽象对话摘要这一具有挑战性的任务，据我们所知，这是引入高质量聊天对话语料库的第一次尝试，并手动注释了抽象摘要，可供研究人员进行进一步研究。

    Nov, 2019

  • CrossSum: 跨越 1500 多种语言对的英语中心的跨语言生成性文本摘要

    通过跨语言检索，提出跨语言摘要数据集 CrossSum 及其训练模型，表现出优异的 ROUGE 和 LaSE 性能，成为目前最大的跨语言摘要数据集

    Dec, 2021

  • GUMSum：英文抽象摘要的多语种数据和评估

    本文提出了 GUMSum 数据集，旨在评估抽象概括的英语摘要。该数据集高度约束，注重替换潜力、事实和忠实度，结果显示 GPT3 达到了令人印象深刻的得分，但仍然表现不如人类，并且不同类型的错误揭示了生成好概括的挑战。

    Jun, 2023

  • 德国（抽象）文本摘要情况

    本研究评估了德语抽象文本摘要的特定现状，并调查现实情形下为什么有效的抽象文本摘要解决方案在工业界仍然缺失。我们的重点是分析训练资源和公开可用的摘要系统，并发现现有的数据集和系统存在极大的缺陷和评估偏差。此外，我们发现现有的系统经常不能与简单的基准线进行比较，并且忽略了更有效和高效的摘要方法。

    Jan, 2023

  • AugSumm：利用大型语言模型生成的合成标签进行通用语音摘要

    通过使用大型语言模型（LLM）作为人工标注者的代理，本研究提出了一种名为 AugSumm 的方法来生成用于训练和评估的增广摘要，通过在 ChatGPT 上生成的合成摘要验证其质量，并在训练和评估中利用这些合成摘要，实验证明在合成摘要上进行预训练并在 GT 摘要上进行微调可以改善 ROUGE-L 指标。

    Jan, 2024

  • ACLSum: 科学出版物面向方面的概述的新数据集

    提供了一个由领域专家精心制作和评估的新型摘要数据集 ACLSum，集成了多个方面的科学论文摘要，通过对预训练语言模型和最先进的大型语言模型（LLMs）的性能进行广泛实验，探索学术领域中抽取式与生成式摘要的有效性，结果证实了在学术领域中端到端基于方面的摘要的普遍优越性。

    Mar, 2024

  • MLSUM: 多语言摘要语料库

    我们提出了 MLSUM，这是第一个大规模的多语言摘要数据集，包括五种不同语言的 150 万篇文章 / 摘要对，与来自 CNN / Daily mail 数据集的英文报纸一起，构成一个大规模的多语言数据集，可以为文本摘要社区提供新的研究方向。我们基于最先进的系统进行交叉语言比较分析，发现了现有偏见，这促使我们使用多语言数据集。

    Apr, 2020