Jun, 2024

大型语言模型的少样本学习跨语言摘要任务

PDF
TL;DR跨语种摘要生成（XLS）旨在在与源语言文档不同的目标语言中生成摘要。我们研究了各种模型的少样本学习（few-shot learning）在 XLS 任务中的表现，并发现少样本学习显著提高了 LLMs 在低资源环境中的 XLS 性能，特别是 GPT-3.5 和 GPT-4。然而，开源模型 Mistral-7B-Instruct-v0.2 在有限的示例中有效适应 XLS 任务方面存在困难。我们的研究结果突出了少样本学习提高 XLS 性能的潜力，以及在设计专为该任务定制的 LLMs 架构和预训练目标方面需要进一步研究。我们提出了未来的研究方向，探索更有效的少样本学习策略，并调查 LLMs 在跨语种摘要生成中的迁移学习能力。
发现论文，激发创造
  • SumTra: 跨语言少样本摘要的可微分管道

    跨语言概括是生成与输入文档不同语言（例如从英语到西班牙语）的摘要，使目标语言的使用者能够获得其内容的简洁概述。本文提出重新审视了概括和翻译流程，其中概括和翻译任务按顺序执行，并通过利用许多可用的公共资源进行单语概括和翻译，从而获得了非常有竞争力的零样本性能。此外，所提出的流程是完全可微分的端到端，可以利用少样本微调（如有）的优势。实验证明，所提出的方法在两个当代、广泛采用的跨语言概括数据集（CrossSum 和 WikiLingua）上表现出了显著的零样本性能，并且与等效的多语言语言模型基准相比，在只有 10% 的微调样本下在许多语言上取得了优于基准的性能。

    Mar, 2024

  • 多语言语言模型的少样本学习

    本文研究了大规模生成语言模型在多语言语料库上的跨语言泛化能力，实验结果表明，通过多语言提示方案，在许多任务中，模型可以在少量示例和无样本学习中完成良好的表现。

    Dec, 2021

  • 有限平行资源下的跨语言抽象摘要

    使用一种多任务框架和共享解码器的方法，跨语言摘要的跨语言资源匮乏问题得以解决，此方法名为 MCLAS。通过 MCLAS，实验表明其可以在有限的跨语言资源下，显著优于三种基准模型。

    May, 2021

  • 低资源语言中大型语言模型的少样本跨语言迁移

    将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

    Mar, 2024

  • XWikiGen：低资源语言百科文本生成的跨语言摘要

    本研究针对缺乏百科全书文本贡献者的问题，提出了一种基于多语言参考文章的跨语言多文档摘要生成任务，同时建立了一个基准数据集，并提出了一种基于神经网络的有监督和无监督摘要生成系统，实验表明多领域的训练要优于多语言的设置。

    Mar, 2023

  • mGPT: 少样本学习器转向多语言

    本文介绍了两种自回归 GPT 类模型，使用维基百科和 Colossal Clean Crawled Corpus 训练了 60 种语言、25 种语言系的搜索，展示了多种任务上的表现，包括分类、生成、序列标记和知识探测，在多语种任务上有着与 Facebook 最近发布的 XGLM 模型相媲美的表现。

    Apr, 2022

  • 跨语言摘要模型与数据集

    本文介绍了使用跨语言文献和维基百科创建的跨语言摘要语料库，在多种语言和方向上建立了多句子摘要数据。作者使用自动指标并进行人类研究，验证了所提出的跨语言摘要任务。最后，作者还用该数据集和多语言预训练模型进行了大量的实验证明其实用性。

    Feb, 2022

  • 大规模语言模型的零射击跨语言再排序用于低资源语言

    研究表明，大型语言模型在各种文档重新排序任务中展现了令人印象深刻的零样本能力。本研究探讨了大型语言模型在非洲语言的跨语言信息检索系统中的重新排序效果，研究结果显示，跨语言重新排序的效果可能与语言模型的多语言能力相关，且在英语中重新排序仍然最为有效。

    Dec, 2023

  • 基于 LLM 的数据增强方法提升跨语言表现

    本研究探讨了利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过使用包括 Dolly-v2、StableVicuna、ChatGPT 和 GPT-4 在内的大型语言模型来扩充三个数据集，确定了该方法的有效性，并比较了使用英语生成数据和将英语生成的数据翻译成目标语言。实验结果表明，使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下，它们的效益会下降。

    May, 2023

  • X-SCITLDR：学术文献的跨语言极端摘要

    本研究填补了前人研究的空白，提出了一个多语种的学术领域摘要数据集，基于此我们能够训练和评估处理英语论文并生成德语、意大利语、汉语和日语摘要的模型，同时分析了在零样本和少样本情况下训练的性能。

    May, 2022