本研究对 Karpukhin 等人于 2020 年提出的基于稠密编码的全域问答模型（DPR）进行了复制研究，其中发现原作者低估了 BM25 基准检索的有效性。我们通过改进的答案跨度评分技术，使用与原论文相同的模型获得更好的端到端问题答案准确性。

Apr, 2021

本研究旨在探索如何创建关于领域知识、语义多样性和可回答性等方面的反事实数据来改善深度学习模型的鲁棒性，其中使用的技术包括数据增强，以及 “Retrieve-Generate-Filter” 模型。实验表明，使用该技术能够有效提高模型对于本地扰动的鲁棒性和在阅读理解和开放领域问答中的性能。

Oct, 2021

本文提出了一种基于对中间训练模型的关联系统估计和自适应加权的相关性感知对比度学习方法，应用于无监督稠密 Retriever 模型，提高了其检索效果并且表现出很好的 few-shot 学习能力。

Jun, 2023

本文提出了无需注释的可扩展伪查询文档对训练方法，包括查询提取和转化查询生成两种。通过使用这些方法，研究展示出比其他方法更好的检索表现。

Dec, 2022

本研究展示了如何使用密集向量表示实现开放领域的问答，通过一个简单的双编码框架，通过从一小部分问题和段落中学习嵌入来实现检索，并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法，为终端 QA 系统的最新性能奠定了基础。

Apr, 2020

本文提出改进内部表示粒度，引入基于上下文句子的模型和 in-passage 负采样策略，以缓解不合适的建模方式对于对话的影响，在三个基准数据集上进行实验并验证方法的有效性，特别是在冲突严重的数据集中的表现。

Oct, 2021

本文主要研究使用 Wikidata 数据构造的 entity-rich questions 在密集检索模型中表现不佳的问题，并探讨了两种解决方案：第一种解决方法是数据扩充无法解决广义化问题，第二种解决方法是更加强大的 passage encoder 有助于使用专门化的问题编码器来更好地适应问题。

Sep, 2021

本文研究了利用随机策略训练模型存在识别高语义重叠无关文本摘录能力不足的重要局限性，并发现了一种有效的方法来训练模型以识别此类摘录，通过利用 SQuAD 2.0 数据集的不可回答配对，我们的模型在面对这些具有挑战性的文本摘录时实现了近乎完美的准确性（约 100%）。

Mar, 2024

本文通过利用结构化知识库进行确定性、最优和可控的词级替换，以探究 VQA 模型行为的解释和鲁棒性，并从反事实的回答中提取局部和全局解释，发现可能的偏见和影响模型的性能的预期和意外模式，揭示了模型决策过程中的潜在偏见。

Mar, 2023

密集路径检索（DPR）是提升大型语言模型（LLM）性能的检索增强生成（RAG）范式中的第一步，本研究通过探测、层激活分析和模型编辑的组合，深入研究 DPR fine-tuning，发现 DPR 训练方式中的去中心化存储及其对检索模型的限制，为密集检索提供了几个可能的方向：（1）将更多知识暴露给 DPR 训练过程以实现更多的去中心化，（2）将事实作为分散表示注入，（3）在检索过程中建模和融入知识的不确定性，以及（4）将内部模型知识直接映射到知识库。

Feb, 2024