Aug, 2021

面向语料库的无监督语言模型预训练用于密集文本检索

PDF
TL;DR本文提出了 coCondenser 方法，将 Condenser 预训练架构与无监督语料级对比损失相结合，减轻了密集检索器对大规模训练数据和数据工程的依赖，并通过实验表明，该方法具有与 RocketQA 相当的性能。
fine-tuned language modelsdense retrieverscondenser pre-training architectureunsupervised corpus-level contrastive losssmall batch fine-tuning
发现论文，激发创造
  • Condenser: 用于密集检索的预训练模型架构

    该论文提出了一种基于 Condenser 的 Transformer 架构，可以提高标准 LM 在文本检索和相似性任务上的效果。

    Apr, 2021

  • 基于大型语言模型的文档扩展预训练用于密集式段落检索

    利用 LLM（大型语言模型）进行文档扩展进行预训练，显著提升了大规模网络搜索任务中的检索性能。

    Aug, 2023

  • 无监督对比学习密集信息检索

    本文介绍一种无监督训练的密集感知器，使用对比学习 (contrastive learning) 的方法，提高了信息检索的性能，并在多语言检索中表现出强大的跨语言转移能力。

    Dec, 2021

  • 无监督上下文感知句子表示预训练在多语言密集检索中的应用

    本文介绍了一种简单有效的单语言预训练任务 —— 对比上下文预测 (contrastive context prediction, CCP)，通过学习建模句子级上下文关系来学习句子表示，从而使句子配对对齐，并使用语言特定的存储器库和非对称批标准化操作来防止模型崩溃和信息泄漏，在不使用双语数据的情况下，在多语言检索任务 Tatoeba 上实现了新的最佳结果，在跨语言查询 - 段落检索任务 XOR Retrieve 和 Mr.TYDI 中，该模型在所有使用双语数据的预训练模型中在零样本和监督设置 (both zero-shot and supervised setting) 中都取得了两个最新成果。

    Jun, 2022

  • SimLM: 密集文本检索的表示瓶颈预训练

    本文提出一种简单而有效的预训练方法 SimLM，用于针对稠密段落检索，其使用简单的瓶颈架构通过自监督预训练学习将段落信息压缩成一种密集向量，并使用替换的语言建模目标，该目标灵感来自 ELECTRA，以提高样本效率并减少预训练和微调之间输入分布的差异。SimLM 只需要访问未标记的语料库，在没有标记数据或查询时更普遍适用。在多个大规模段落检索数据集上进行实验证明，在多种设置下，SimLM 都比强基线实现了实质性的改进。显著的是，SimLM 甚至胜过了多向量方法，如 ColBERTv2，这需要更高的存储成本。

    Jul, 2022

  • 面向开放域问答的渐进式预训练稠密语料库索引

    本研究提出了一种简单且资源有效的方法，利用现有的预训练序列到序列模型来建立强大的问题生成器，并通过渐进式预训练算法确保每个批次有效的负样本存在，以预训练段落编码器。通过三个数据集的实验，本方法在使用 7 倍的计算资源进行预训练的现有浓缩检索方法方面取得了更好的效果。

    Apr, 2020

  • 面向交谈式搜索的上下文化查询嵌入

    本文以学习到的密集表示为基础，描述了一种紧凑而有效的模型，用于对话搜索中的低延迟段落检索。 通过将对话查询重构直接整合到密集检索模型中，我们提出了一种新方法来解决现有流程的问题。 在构建具有伪相关性标签的数据集的基础上，证明了该模型可用于会话检索和开放域问答数据集，最后通过改进的检索模型学习到的特性，支持混合检索和错误分析。

    Apr, 2021

  • Aggretriever：一种用于稳健稠密段落检索的简单文本表示聚合方法

    本研究采用一种简单的方法，有效地将预训练转换器中的文本表示聚合成稠密向量，从而提高了在不同领域和零样本评估下单向量方法的鲁棒性，进而表明 MLM 预训练变形金刚可以用于将文本信息编码成单个向量以进行密集检索。

    Jul, 2022

  • 具有相关感知对比预训练的无监督密集检索

    本文提出了一种基于对中间训练模型的关联系统估计和自适应加权的相关性感知对比度学习方法，应用于无监督稠密 Retriever 模型，提高了其检索效果并且表现出很好的 few-shot 学习能力。

    Jun, 2023

  • 无监督学习检索文章段落

    本文介绍了一种基于无监督预训练的 ODQA 方法，通过 recurrent span retrieval 从文档中创建伪例子进行对比学习，控制 pseudo 查询和相关段落之间的术语重叠，从而允许模拟它们之间的词汇和语义关系，得到命名为 “Spider” 的模型，具有出色的性能，且不需要任何有标签的训练数据。

    Dec, 2021