ICLROct, 2021

稠密文本检索的对抗性检索 - 排序器

PDF
TL;DR提出 Adversarial Retriever-Ranker（AR2），其中包括双编码器 Retrieval Model 和交叉编码器 Ranking Model，以解决当前的稠密文本检索模型面临的两个主要挑战，既快速索引和搜索，也考虑更细粒度的词级相互作用，同时为了建立负面文件，其模型训练高度依赖于负采样技术。在三个基准测试中，实验结果显示 AR2 在所有测试中 consistently and significantly outperforms 现有的关键词检索方法并 achievs 新的 state-of-the-art 结果。
dense text retrieval modelsadversarial retriever-rankerdual-encoder retrievercross-encoder rankerstate-of-the-art results
发现论文，激发创造
  • 文本检索的鲁棒性排序器

    通过使用多个检索模型作为负样本生成器，引入大规模的噪声标签和多样性负样本进行训练，提出了一种鲁棒的排序模型 R^2anker，实验结果显示该模型表现优于现有工具。

    Jun, 2022

  • 神经响应生成的检索增强对抗训练

    本文提出了 RETE 方式，使用检索方法来增强神经响应生成的对抗训练， 与当前方法不同的是，该方法采用编码器 - 解码器框架，在对抗训练范式中利用从检索系统获取的 N 个最佳响应候选构建鉴别器。一个基于大规模公共可用基准数据集的实证研究表明，REAT 方法明显优于普通 Seq2Seq 模型和传统的对抗性训练方法。

    Sep, 2018

  • 高效均衡主题感知采样，有效教授密集检索器

    本研究旨在将神经网络模型运用到信息检索模型中，引入了一种名为 TAS-Balanced 的高效查询和平衡边缘抽样技术，结合了成对和批内负面教师，实现了单 GPU 训练的 6 层 DR 模型，以及在 TREC 深度学习基准赛中，取得了领先于其他方法的最佳检索成果和召回率表现。

    Apr, 2021

  • 针对密集检索模型的黑盒对抗攻击：一种多视图对比学习方法

    针对密集检索模型的鲁棒性，我们提出了对抗性检索攻击（AREA）任务，并借鉴对神经排名模型的攻击方法，通过在多视图表示空间中鼓励每个视图表示与目标文档以及对应的查看者之间的一致性，以小的不可察觉的文本干扰显著提高攻击效果。

    Aug, 2023

  • 只需要问题：密集式段落检索器训练

    ART 是一种新的语料库自动编码方法，用于训练密集检索模型，通过未标注的输入和输出实现了高效的无监督学习，且在不需要标记数据和任务特定的损失的情况下，在多个 QA 检索基准测试中获得了最先进的结果。

    Jun, 2022

  • 为实体检索学习密集表示

    使用双编码器模型，在相同的密集向量空间中对实体和提及进行编码，并通过近似最近邻搜索检索候选实体，从而实现实体链接。通过使用维基百科中的锚文本链接训练双编码器，该方法优于离散别名表和 BM25 基线，并且与标准 TACKBP-2010 数据集中最佳结果相当，还可以快速检索候选者，并可以很好地推广到从 Wikinews 推导出的新数据集。在建模方面，我们演示了无监督的负采矿算法在这一任务中的重要作用。

    Sep, 2019

  • 面向任务的特定领域优化，用于高效和稳健的对于开放域问答的密集检索

    提出了一种新的体系结构，Task-aware Specialization for dense Retrieval (TASER)，该模型通过交错共享模块和专用模块在单个编码器中实现参数共享，能够在使用密集检索模型时提高准确性并显著减少了参数数量，在五个问答数据集上实验表明，与双编码器密集检索器相比，TASER 能够在使用大约 60% 的参数的同时实现卓越的准确性。

    Oct, 2022

  • 文本检索中的稀疏、密集和注意力表示

    该研究探讨了双编码器的检索能力，并将其与稀疏词袋模型和注意力神经网络进行了比较。研究发现固定长度编码的能力存在限制，具体表现为编码维数，金标和排名较低文件之间的边际，以及文档长度。在此基础上，该研究提出了一种结合了双编码器的高效性和注意力结构的表达能力的简单神经模型，并探索了稀疏 - 密集混合模型以提高检索精度，这些模型在大规模检索中胜过强有力的替代方案。

    May, 2020

  • 准确问答的双重检索与排名

    本研究提出了一种双重再排序模型和第二个神经检索阶段，以改进在问题应答中使用聚合策略的转换器模型的限制。对三个知名数据集进行的实验表明，该方法在 AS2 上具有相当和显著的改进。

    Jan, 2022

  • EnsembleGAN: 短文本对话检索生成集成模型的敌对学习

    在开放领域对话情景中，提出了一种敌对学习框架 ensembleGAN，用于增强检索 - 生成集合模型，该模型由生成器、排名生成器和排名鉴别器组成，通过学习生成更加相关的响应、高质量候选对抗响应、以及真实响应的识别与区分，实现了两种生成器的优点。实验结果表明了 ensembleGAN 在人工和自动评估度量上的优越性。

    Apr, 2020