MinPrompt: 基于图的极简提示数据增强用于少样本问题回答
该研究探讨了答题所需的最小上下文，并提出了一种简单的句子选择器用于选择最小的句子来喂养问答模型，以实现训练和推理时间的显著减少并提高精度，并且更加鲁棒。
May, 2018
在几个问答基准测试中，经过Fine-Tuning后，预训练模型已经达到了与人类相当的水平。然而我们研究了更为现实的少样本情况，发现标准的模型表现不佳，由此突出了当前预训练目标与问答之间的差异。为此我们提出了一种新的问答针对性预训练方案：Recurring Span Selection，该方案非常适合处理具有多个重复区域的段落，并在提供的数据量很少的情况下在SQuAD的基准测试中取得了令人惊讶的高成绩（例如仅使用128个训练示例时即可获得72.7 F1的成绩），同时保持了在高资源设置下具有相当的性能。
Jan, 2021
本研究提出一种简单的微调框架，利用预先训练的文本模型与其预训练框架直接对齐，将问题、掩码代表答案范围和上下文连接为输入，使用相同的目标进行微调，通过实验研究表明该模型在各种 few-shot 配置下均取得了显著的增益。
Sep, 2021
该研究旨在通过使用大规模语言模型（LSLM）独特的少样本能力，借助于Google搜索返回的信息对语言模型进行少量提示，从而克服其与现实事实和最新信息相关性的挑战，从而使得模型在开放领域问题回答方面的性能优于相同或更大规模的封闭书模型，同时，增加推理时间的计算能力可以提高模型的性能。
Mar, 2022
GrapeQA是一种基于语言模型的Commonsense QA方法，采用知识图谱以及图神经网络进行推理，提出了Prominent Entities for Graph Augmentation和Context-Aware Node Pruning两个简单的改进方法来解决捕捉QA信息和去除无关节点的问题，并在OpenBookQA、CommonsenseQA和MedQA-USMLE上展示出比QA-GNN更出色的结果。
Mar, 2023
该研究探讨了在低资源情境下，两种调节策略（模型与提示）实现统一问答模型的潜力，并使用16个QA数据集进行了详尽的分析。研究表明，提示调节在良好初始化的几轮训练下，可以和模型调节相媲美，并且参数共享会带来更优的表现，提示初始化的简单知识迁移技术可以有效，提示调节在低资源情境下从预训练中获得了显著的性能提升。本研究为在低资源情景下实现有效和高效问答系统的优点和局限性提供了见解。
May, 2023
本研究开发了Gotta，一种基于生成式提示的的数据增强框架，旨在改善few-shot question answering学习中深层语义推理的挑战。研究表明，Gotta始终优于竞争基线，验证了基于提示调整的背景填充任务的有效性，在QA任务中学习指导推理并提高语言模型扩展任务能力的优点。
Jun, 2023
提出了一种通过直接在LLM的输入中添加知识以增强其内部存储的知识的方法，称为KAPING，通过在知识图上检索相关事实来改善零-shot闭书问答任务性能，经验证跨多个大小不同的LLM，基于事实的知识增强方法相对于相关零-shot基线的平均表现提高达48%。
Jun, 2023
大型语言模型可在知识图谱上进行创新的问答，但未本质上为查询生成而设计。为弥合这一差距，提出了依赖微调或特定架构的解决方案，取得了良好结果但领域外分布泛化有限。在本研究中，我们介绍了一种名为动态少样本学习（DFSL）的新方法。DFSL整合了上下文学习和语义相似度的效率，并为KGQA提供了普遍适用的解决方案，具有最先进的性能。我们在多个基准数据集和架构配置上进行了广泛评估。
Jul, 2024