该研究探讨了在低资源情境下，两种调节策略（模型与提示）实现统一问答模型的潜力，并使用 16 个 QA 数据集进行了详尽的分析。研究表明，提示调节在良好初始化的几轮训练下，可以和模型调节相媲美，并且参数共享会带来更优的表现，提示初始化的简单知识迁移技术可以有效，提示调节在低资源情境下从预训练中获得了显著的性能提升。本研究为在低资源情景下实现有效和高效问答系统的优点和局限性提供了见解。

May, 2023

该论文介绍了一种基于最新的语言建模技术构建的单一预训练问答模型 UnifiedQA，该模型在 17 个问题回答数据集中表现出色，甚至在面对 12 个观察过的格式数据集时也表现出了强大的泛化能力，并且该模型通过简单的微调就可以成为构建 QA 系统的强有力起点。

May, 2020

知识库问答 (KBQA) 旨在使用实体和知识库中的关系等事实性信息回答自然语言问题。为了弥合文本和结构化知识库之间的差距，我们提出了一种结构化知识感知的预训练方法 (SKP)。在下游的 KBQA 任务中，我们设计了一种高效的线性化策略和一个区间式关注机制，分别帮助模型更好地编码复杂的子图并在推理过程中屏蔽无关子图的干扰。通过对 WebQSP 的详细实验和分析，验证了 SKP 的有效性，尤其是在子图检索方面的显著改进 (+4.08% H@10)。

Aug, 2023

该论文提出了 Diana：基于动态架构的终生 QA 模型，使用不同层次的提示捕获 QA 知识，特别是为了处理未见的任务。经过广泛实验证明，Diana 在处理未见任务方面优于现有的终身 QA 模型。

Aug, 2022

基于检索的代码问答模型通过预训练模型使用构建的双模和单模数据集来匹配自然语言查询与相关代码片段。本文介绍了 ProCQA，一个从 StackOverflow 社区提取的大规模编程问答数据集，提供自然结构的混合模态问答对。为了验证其有效性，我们提出了一种模态不可知的对比预训练方法，以改善当前代码语言模型的文本和代码表示之间的对齐。与先前主要使用从 CodeSearchNet 中提取的双模和单模对进行预训练的模型相比，我们的模型在广泛的代码检索基准上表现出显著的性能改进。

Mar, 2024

该研究提出了一种名为 Unified Schema Prompt 的灵活可扩展的提示方法，通过利用每个任务的输入结构来自动自定义学习提示，以增强任务的泛化能力，并在一系列 NLP 任务中进行了实验验证。

Aug, 2022

该研究提出了一个基于最小数据增强框架的开放领域问答系统，通过使用近似图算法和无监督问题生成，选择最具信息量的数据集进行微调，从而在效率上实现可比较或更好的准确性，提高了 F-1 分数高达 27.5%。

Oct, 2023

本文提出了一种命名实体识别的新的基于 prompt 的学习方法 - QaNER，它使用了基于问答的方法来解决之前 prompt-based 方法所存在的限制，包括更高的计算复杂性、较差的 0-shot 能力、需要手动 prompt 工程，或缺乏 prompt 鲁棒性等问题。相比之前的方法，QaNER 具有更快的推理速度，对 prompt 质量不敏感，鲁棒性也更强，并且在低资源性能和 0-shot 能力方面表现显著优于之前的方法。

Mar, 2022

为了解决会话式搜索系统中存在的问题，本文提出了 PAQA，这是 AmbiNQ 数据集的扩展，通过考虑用户查询和文档中存在的歧义，生成相关的澄清问题，并评估各种模型以及检索过程对歧义检测和澄清问题生成的影响。

Feb, 2024

该论文提出了一种名为 DPT 的创新型视觉语言模型微调范式，它通过文本调整和任务调整重新定义视觉问题的目标函数形式来共同优化 VQA 模型的预训练和微调目标，以提高预训练 VL 模型对于下游任务的有效适应性，实验结果表明，DPT 在准确性方面显著优于微调对应物，无论是在完全监督（2.68％）还是零射击 / 少射击（超过 31％）的情况下。

May, 2022