提出 Diana：一种动态架构基于的终身学习模型，使用分层设计的提示来捕获不同细粒度的知识，并引入一组提示关键向量以促进任务之间的知识共享，在处理未知任务方面表现良好。

May, 2023

ProQA 是一个统一的 QA 范式，通过结构提示进行预训练，可以在所有 QA 任务中同时建模知识概括，同时保持每个特定 QA 任务的知识定制。实验证明其在 11 个 QA 基准上展示了强大的性能提升，并在连续学习和迁移学习等方面表现出强大的能力。

May, 2022

本文提出了一种基于大型语言模型的自我点拨框架 (Self-Prompting framework)，使得在开放域下的问答任务 (Open-Domain Question Answering) 可以在不需要训练数据和外部知识库的情况下实现，采用该方法在三个广泛使用的 ODQA 数据集上，实验结果优于之前的最先进方法，在 EM 指标上平均提高了 8.8 个百分点，并且能够实现与多种检索增强的微调模型相比较的性能。

Dec, 2022

本文回顾了混合语言模型在复杂问答（QA，CQA，CPS）中架构和策略的最新进展，指出了提高 LLM 在处理背景知识、安全数据保护、解释性等方面的方法，并探讨了与复杂 QA 相关的挑战及当前解决方案和发展趋势。

Feb, 2023

该研究探讨了在低资源情境下，两种调节策略（模型与提示）实现统一问答模型的潜力，并使用 16 个 QA 数据集进行了详尽的分析。研究表明，提示调节在良好初始化的几轮训练下，可以和模型调节相媲美，并且参数共享会带来更优的表现，提示初始化的简单知识迁移技术可以有效，提示调节在低资源情境下从预训练中获得了显著的性能提升。本研究为在低资源情景下实现有效和高效问答系统的优点和局限性提供了见解。

May, 2023

本研究提出了一种基于条件 VAE 的新型 PCLL 方法，通过加入任务统计信息来增强生成式回放并引导伪样本生成，从而改善 LL 模型训练，实验证明相比其他竞争基线方法，PCLL 在建立 LL 模型方面表现显着优异。

Oct, 2022

提出了一种新颖的 “持续更新问答 (CuQA)” 任务，其对语言模型的有效性进行多次大规模更新的测量，同时保留现有的知识；并引入了插件模块来处理更新，实验证明该方法相对于微调基准线要更有效。

Apr, 2022

通过引入几个新的挑战任务，探索了目前最先进的 QA 模型是否具有有关单词定义和词汇推理的通用知识，结果表明，基于 Transformer 的 QA 模型已经更容易识别某些结构词汇知识，但在分类结构的层次增加或更具挑战性的干扰先决条件问题涉及到的问题上存在较大的改进空间。

Dec, 2019

开放领域问答（ODQA）作为信息系统中的关键研究领域已经崛起。现有方法采用两种主要范式来收集证据：（1）“先检索然后阅读” 范式从外部语料库中检索相关文档；（2）“先生成然后阅读” 范式使用大型语言模型（LLMs）生成相关文档。然而，两者都无法完全满足证据的多方面需求。因此，本文提出了 LLMQA，一种通用框架，将 ODQA 过程分为三个基本步骤：查询扩展、文档选择和答案生成，结合了基于检索和基于生成的证据的优势。由于 LLMs 展示了在各种任务中表现出的出色能力，我们在框架中指导 LLMs 担任多个角色，作为生成器、重新排序器和评估器，集成它们在 ODQA 过程中的协作。此外，我们引入了一种新颖的提示优化算法，以改进角色扮演提示，引导 LLMs 生成更高质量的证据和答案。在广泛使用的基准测试（NQ、WebQ 和 TriviaQA）上进行的大量实验结果表明，LLMQA 在答案准确性和证据质量方面达到了最佳表现，展示了其推进 ODQA 研究和应用的潜力。

Mar, 2024

本文定义了 OLTQA 模型，它通过在预训练语言模型中挖掘知识和引入 retrieve-then-rerank 框架来支持各种 QA 任务，并提出了适应性的相互知识蒸馏方法联合训练框架和 QA 模型，在 43 个现有 QA 数据集上更好地执行。

May, 2023