ACLOct, 2021

面向开放域段落检索的句子感知对比学习

PDF
TL;DR本文提出改进内部表示粒度，引入基于上下文句子的模型和 in-passage 负采样策略，以缓解不合适的建模方式对于对话的影响，在三个基准数据集上进行实验并验证方法的有效性，特别是在冲突严重的数据集中的表现。
open-domain passage retrievalcontrastive learninginternal representation conflictscontextual sentencesin-passage negative sampling
发现论文，激发创造
  • 改进负对比度的神经文本检索

    本研究探讨了在自动问答的双编码器模型中使用负采样的影响，并探索了四种补充传统随机负采样的方式。实验表明，本研究提出的基于检索和启发式规则的负采样策略可以显著提高双编码器模型在开放领域问答数据集上的表现，并取得了新的最好性能。

    Oct, 2020

  • 稠密通道检索器的复制研究

    本研究对 Karpukhin 等人于 2020 年提出的基于稠密编码的全域问答模型（DPR）进行了复制研究，其中发现原作者低估了 BM25 基准检索的有效性。我们通过改进的答案跨度评分技术，使用与原论文相同的模型获得更好的端到端问题答案准确性。

    Apr, 2021

  • DPR 主题：用于密集段落检索的基于主题的提示

    Topic-DPR 是一种基于主题的密集段落检索模型，通过对多个基于主题的提示进行优化和对比学习，使表示与其主题分布对齐，提高空间均匀性，并引入了一种新的正负采样策略来提高检索效率。实验证明，该方法超过了之前最先进的检索技术。

    Oct, 2023

  • 用于开放式领域问答的密集式检索

    本研究展示了如何使用密集向量表示实现开放领域的问答，通过一个简单的双编码框架，通过从一小部分问题和段落中学习嵌入来实现检索，并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法，为终端 QA 系统的最新性能奠定了基础。

    Apr, 2020

  • Multi-CPR: 一个用于篇章检索的多领域中文数据集

    本文介绍了一种新型的多领域中文数据集，用于特定领域的段落检索，并发现针对特定领域进行训练的检索模型可以明显提高性能，这表明了领域标注数据的必要性。

    Mar, 2022

  • 深度检索与无法回答的反事实情况再探讨

    本文介绍了一个新颖的检索方法 PiCL，它利用反事实样本来训练检索器以提高检索准确率，并在开放域问答基准测试中证明了其有效性和鲁棒性。

    Apr, 2023

  • 无监督学习检索文章段落

    本文介绍了一种基于无监督预训练的 ODQA 方法，通过 recurrent span retrieval 从文档中创建伪例子进行对比学习，控制 pseudo 查询和相关段落之间的术语重叠，从而允许模拟它们之间的词汇和语义关系，得到命名为 “Spider” 的模型，具有出色的性能，且不需要任何有标签的训练数据。

    Dec, 2021

  • 跨领域情感分析的纯对比学习

    本文探索对跨域情感分析任务采用对比学习方法，提出了一种修改后的对比目标，并在同一类的句子表示之间拉近，不同类的之间推远的方法，实验证明我们的模型在跨域和多域情感分析任务中都取得了最先进的性能，同时，可视化结果展示了知识转移的有效性，并通过对抗测试验证了模型的鲁棒性。

    Aug, 2022

  • 检索增强生成：稠密段落检索是否正在检索？

    密集路径检索（DPR）是提升大型语言模型（LLM）性能的检索增强生成（RAG）范式中的第一步，本研究通过探测、层激活分析和模型编辑的组合，深入研究 DPR fine-tuning，发现 DPR 训练方式中的去中心化存储及其对检索模型的限制，为密集检索提供了几个可能的方向：（1）将更多知识暴露给 DPR 训练过程以实现更多的去中心化，（2）将事实作为分散表示注入，（3）在检索过程中建模和融入知识的不确定性，以及（4）将内部模型知识直接映射到知识库。

    Feb, 2024

  • 利用生成模型结合段落检索进行开放域问答

    研究使用生成模型在开放领域问答中的表现，发现利用文本段落检索可以显著提高性能，证明生成模型擅长聚合和组合多个段落的证据，同时在 Natural Questions 和 TriviaQA 开放式基准测试中取得最好的结果。

    Jul, 2020