本篇文章提出一种基于潜变量的抽取式文本摘要模型,通过使用句子作为潜变量和检索金标准摘要来改善基于启发式标签的抽取式模型,并在 CNN/Dailymail 数据集上得到了良好的结果。
Aug, 2018
本文介绍了使用跨语言文献和维基百科创建的跨语言摘要语料库,在多种语言和方向上建立了多句子摘要数据。作者使用自动指标并进行人类研究,验证了所提出的跨语言摘要任务。最后,作者还用该数据集和多语言预训练模型进行了大量的实验证明其实用性。
Feb, 2022
本文介绍了一种使用深度强化学习实现的跨语言文本摘要模型,引入了先前单语言文摘的预训练技术,并得出使用双语语义相似性作为奖励来生成摘要的强化学习模型比强基线效果更好的结论。
Jun, 2020
我们提出了 MLSUM,这是第一个大规模的多语言摘要数据集,包括五种不同语言的 150 万篇文章 / 摘要对,与来自 CNN / Daily mail 数据集的英文报纸一起,构成一个大规模的多语言数据集,可以为文本摘要社区提供新的研究方向。我们基于最先进的系统进行交叉语言比较分析,发现了现有偏见,这促使我们使用多语言数据集。
Apr, 2020
大型语言模型(LLM)的零摘要生成与人工编写的参考摘要相媲美,我们评估了零摘要生成摘要在生物医学文章等专业领域的实际性,并通过领域专家注释识别总结中的不一致性。
Feb, 2024
使用 5 种最先进的大型语言模型(LLMs)作为 “标注者” 在多个任务上进行评估,并比较其与人类标注的优缺点。总体而言,尽管 LLMs 在某些任务上表现出色,但它们无法替代人类标注的需求。
Jul, 2023
跨语种摘要生成(XLS)旨在在与源语言文档不同的目标语言中生成摘要。我们研究了各种模型的少样本学习(few-shot learning)在 XLS 任务中的表现,并发现少样本学习显著提高了 LLMs 在低资源环境中的 XLS 性能,特别是 GPT-3.5 和 GPT-4。然而,开源模型 Mistral-7B-Instruct-v0.2 在有限的示例中有效适应 XLS 任务方面存在困难。我们的研究结果突出了少样本学习提高 XLS 性能的潜力,以及在设计专为该任务定制的 LLMs 架构和预训练目标方面需要进一步研究。我们提出了未来的研究方向,探索更有效的少样本学习策略,并调查 LLMs 在跨语种摘要生成中的迁移学习能力。
Jun, 2024
大型语言模型在总结任务中表现出令人满意的性能,超过了参考摘要的基准,人类评估者明显偏好大型语言模型生成的摘要而不是人工撰写的摘要和经过微调的模型生成的摘要,因为大型语言模型生成的摘要具有更好的事实连贯性和更少的外在幻觉实例。
Sep, 2023
使用半监督方法解决在有限标记数据场景下的提取式文本摘要任务,提出了一种基于 GPT-4 的基于提示的伪标签选择策略,通过使用 LLM 评估和生成伪标签,改进了不同数据集上的 ROUGE-1 指标 10-20%,减少了无标记样本数量。
Nov, 2023
本文提出了多语言语言模型与深度语义对准(MLMA),用于产生跨语言标注的语言无关表示,方法不需要平行数据或一个词一个词匹配,只需要单语语料库,并利用深度上下文表示。实验结果表明,本方法在欧洲语言以及英语和汉语等远距离语言对上实现了新的最新 NER 和 POS 性能。
Oct, 2019