FewshotQA：一种用预训练文本到文本模型进行少样本学习的问答任务简单框架

EMNLPSep, 2021

FewshotQA：一种用预训练文本到文本模型进行少样本学习的问答任务简单框架

FewshotQA: A simple framework for few-shot learning of question answering tasks using pre-trained text-to-text models

Rakesh Chada, Pradeep Natarajan

TL;DR本研究提出一种简单的微调框架，利用预先训练的文本模型与其预训练框架直接对齐，将问题、掩码代表答案范围和上下文连接为输入，使用相同的目标进行微调，通过实验研究表明该模型在各种 few-shot 配置下均取得了显著的增益。

Abstract

The task of learning from only a few examples (called a few-shot setting) is of key importance and relevance to a real-world setting. For question answering (QA), the current state-of-the-art pre-trained models t

few-shot learning question answering pre-trained models fine-tuning mask token

发现论文，激发创造

预训练跨度选择的少样本问题回答

在几个问答基准测试中，经过 Fine-Tuning 后，预训练模型已经达到了与人类相当的水平。然而我们研究了更为现实的少样本情况，发现标准的模型表现不佳，由此突出了当前预训练目标与问答之间的差异。为此我们提出了一种新的问答针对性预训练方案：Recurring Span Selection，该方案非常适合处理具有多个重复区域的段落，并在提供的数据量很少的情况下在 SQuAD 的基准测试中取得了令人惊讶的高成绩（例如仅使用 128 个训练示例时即可获得 72.7 F1 的成绩），同时保持了在高资源设置下具有相当的性能。

Jan, 2021

让预训练语言模型成为更好的少样本学习者

LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

Dec, 2020

Few-Shot Bot: 基于提示的对话系统学习

本文探讨了通过基于提示的少样本学习在对话任务中的应用，通过对多种大小的语言模型进行测试，提出一种新的无需微调的提示分类器，并结合技能选择器创建了一种称为 Few-Shot Bot 的端到端聊天机器人，只需使用少量对话示例便可以完成知识检索并生成人类般自然的响应。

Oct, 2021

QAID: 基于问答启发的少样本意图检测

将意图识别重新定义为一个问答检索任务，通过批量对比损失采用了两阶段训练策略，提高了查询表示方法和同一意图答案间的上下文化令牌级相似度得分，最终在少样本意图识别测试上达到了最先进的性能。

Mar, 2023

语言模型是少样本学习器

在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

May, 2020

低标注预算约束下领域特定问答精调策略

在本研究中，我们通过对不同 QA 数据集上的顺序微调策略的性能进行全面分析，证明了传统的基于预训练语言模型和微调策略在低预算设置下是次优的。我们的实验结果表明，在低预算设置下，最佳策略是使用预训练语言模型，并将其与目标数据集和 SQuAD 数据集进行微调。在不额外标注的情况下，该策略的性能优于标准策略 2.28% 至 6.48%。这些实验结果对于 QA 从业者在低预算下如何最好地微调 QA 系统具有极大的实用价值。

Jan, 2024

让人沮丧地简单的自然问答

文章研究了问题回答领域（Question Answering）中各种算法模型以及增强数据方法，提出了基于 Attention-over-Attention 等方法的组合以及数据增强和集成策略，可在 SQuAD 等基准数据集上取得超人的表现。但在最新的自然问题基准数据集上，相对简单的 BERT 迁移学习方法取得了超过先前表现最优系统 1.9 F1 点的优异表现，并且添加集成策略进一步提高了 2.3 F1 点。

Sep, 2019

通用上下文表示预训练注入问答技术

本研究提出一种基于问答预训练目标的预处理方法，利用编码器 - 解码器的结构来在上下文中编码问题答案，成功应用于零样本学习等多个自然语言处理任务，相比现有最佳方法提升明显。

Jun, 2021

高效鲁棒的基于极小上下文的文档问答

该研究探讨了答题所需的最小上下文，并提出了一种简单的句子选择器用于选择最小的句子来喂养问答模型，以实现训练和推理时间的显著减少并提高精度，并且更加鲁棒。

May, 2018

简单有效的半监督问答

本研究提出一种利用基础文档和少量标注数据进行深度学习提取式问答的方法，并通过对三个不同领域数据集的实验验证了其有效性。

Apr, 2018