GeMQuAD：使用少量示例学习从大型语言模型中生成多语言问答数据集

Apr, 2024

GeMQuAD：使用少量示例学习从大型语言模型中生成多语言问答数据集

GeMQuAD : Generating Multilingual Question Answering Datasets from Large Language Models using Few Shot Learning

Amani Namboori, Shivam Mangale, Andy Rosenbaum, Saleh Soltan

TL;DR通过使用 In-Context Learning (ICL) 与 GeMQuAD 半监督学习方法，本研究旨在利用 Large Language Models (LLMs) 生成的数据优化模型表现，特别适用于低资源多语言环境下的提取性问答任务，与传统的机器翻译增强模型相比，此方法在多语言数据集上获得了更佳的 F1/EM 表现。

Abstract

The emergence of large language models (LLMs) with capabilities like in-context learning (ICL) has ushered in new possibilities for data generati

large language models in-context learning data generation semi-supervised learning extractive question answering

发现论文，激发创造

QAmeleon：仅使用 5 个样本的多语言问答

QAmeleon 使用预训练语言模型 PLM 自动生成多语言数据来训练 QA 模型，从而避免昂贵的注释成本，在低资源环境中优于直接使用手动标注的示例进行 QA 模型微调的方式，并在 TyDiQA-GoldP 和 MLQA 基准测试中实现了高准确性的问答。

Nov, 2022

零样本跨语言问答的合成数据增强

本研究提出了一种方法来改善跨语言问答的表现，利用问答生成模型以跨语言的方式生成合成数据，无需额外标注数据，并展示了在四个多语言数据集上的表现显著优于仅使用英文数据的基线模型，创造了新的最优性能水平。

Oct, 2020

跨语言阅读理解的零样本多语言合成问答生成

使用单一生成模型在大规模上生成多语言问题和答案对，通过多任务训练的生成模型来改进跨语言 QA 模型的零 - shot 表现，并在各种语言的 XQuAD 数据集上实现了较大的性能提升。

Oct, 2020

多模态基础模型中的多示例上下文学习

多模态基础模型在少样本上下文学习中具有较高的效果，通过扩展到多样本上下文学习，可以显著提高模型性能和数据效率。

May, 2024

神经机器翻译模型可以学习成为少样本学习器

大型语言模型的新兴能力是利用少量示例来学习在新领域和任务中执行的能力，本文通过针对专门的培训目标进行微调展示了一个更小的模型可以被训练用于执行上下文学习，在神经机器翻译的领域适应任务上进行了示例。通过这种上下文学习的能力，模型可以利用相关的少量示例将其输出适应到该领域。我们将这种域自适应的质量与传统的监督技术以及基于 400 亿参数的大型语言模型的上下文学习进行了比较。我们的方法允许对多个领域进行高效的批处理推理，并在翻译质量和即时适应率方面优于现有技术基线，也就是在展示一次示例后重新生成特定术语的能力。

Sep, 2023

基于 LLM 的数据增强方法提升跨语言表现

本研究探讨了利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过使用包括 Dolly-v2、StableVicuna、ChatGPT 和 GPT-4 在内的大型语言模型来扩充三个数据集，确定了该方法的有效性，并比较了使用英语生成数据和将英语生成的数据翻译成目标语言。实验结果表明，使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下，它们的效益会下降。

May, 2023

通过生成性数据增强提高特定领域问答小语言模型的效果：Dr. LLaMA

介绍了 Dr. LLaMA，这是一种通过使用大型语言模型进行生成式数据增强来改善小型语言模型的方法，主要关注医学问答任务和 PubMedQA 数据集。研究表明，LLMs 可以有效地改善和多样化问题 - 答案对，从而在微调后使得规模更小的模型获得更好的领域特定 QA 数据集性能。该研究特别强调了在领域特定的问答任务中使用 LLMS 所面临的挑战，并建议了解决这些限制的潜在研究方向，旨在创建更高效、更有能力的专门应用模型。

May, 2023

零样本上下文学习的演示增强

我们提出了一种名为 Demonstration Augmentation for In-context Learning (DAIL) 的方法，通过利用模型之前预测的历史样本作为后续样本的演示，来解决大型语言模型在零 - shot 学习中依赖外部信息并且生成过程耗时的问题，同时在没有任何外部信息的情况下，DAIL 不增加推理成本可以显著提高模型的性能。

Jun, 2024

BeamSearchQA: 大型语言模型是强大的零样本问答求解器

本研究提出了一个名为 BeamSearchQA 的新型问题回答管道，它通过使用大型语言模型迭代地生成关于原始问题的新问题，从而启用一个迭代推理过程，以便更好地捕捉和利用隐藏知识。实验结果表明，BeamSearchQA 明显优于其他零 - shot 基线，在处理开放性领域问题回答方面具有很强的有效性。

May, 2023

使用 PEFT 和合成数据增强低资源 LLMs 分类

提出了一种方法，使大型语言模型在 0-shot 文本分类任务中成为高效的文本分类器，并在低资源环境下获得了竞争性结果。

Apr, 2024