Aug, 2022

域和相关性分离建模用于可适应的密集检索

PDF
TL;DR提出一种名为 Disentangled Dense Retrieval（DDR）的新型 Dense Retrieval 框架来支持 DR 模型的有效和灵活的领域自适应，该框架包括一个 Relevance Estimation Module（REM）和几个 Domain Adaption Modules（DAMs），通过使 REM 和 DAMs 分离，DDR 实现了一种灵活的训练范式，在不同的领域和语言中都表现出比强大的 DR 基线更好的排名性能。
发现论文，激发创造
  • 使用目标领域描述的密集检索适应

    该研究介绍了信息检索领域中一个新的领域适应类别，提出了一种基于分类的领域属性描述和自动数据构建方法以改善检索模型在目标领域的性能。

    Jul, 2023

  • 开放领域问答的低资源稠密检索：一份综合调查报告

    本文探讨了基于预训练语言模型的致密检索方法，并提供了在低资源情境下实现致密检索的主流技术概览，根据技术需要的资源将其分为文档、文档和问题，以及文档和问题答案对三个类别，并对每个技术的算法、开放问题和优缺点进行了介绍和总结，最后提出了未来研究的方向。

    Aug, 2022

  • DREditor：一种构建领域特定稠密检索模型的高效方法

    通过线性映射来编辑匹配规则，以适应特定领域，提供高效率的检索模型，并填补当前嵌入校准领域的技术空白，为构建特定领域的高效低成本的密集检索模型奠定基础。

    Jan, 2024

  • 多域推荐中的嵌入解缠和域对齐

    多领域推荐（MDR）旨在为具有重叠用户 / 项目的不同领域（例如产品类型）提供建议，并且在托管多个服务的平台（例如 Amazon，Facebook 和 LinkedIn）上很常见。我们提出了一种名为 EDDA 的新 MDR 方法，具有嵌入解缠推荐器和领域对齐的两个关键组成部分，分别解决了两个挑战。具体而言，嵌入解缠推荐器将模型和嵌入分为领域间部分和领域内部分，而大多数现有的 MDR 方法只关注模型级的解缠。领域对齐利用图处理中的随机游走来识别不同领域中的相似用户 / 项目对，并鼓励具有相似嵌入的相似用户 / 项目对，增强了知识传输。我们在 3 个真实数据集上将 EDDA 与 12 个最先进的基线进行了比较，结果表明，EDDA 在所有数据集和领域上始终优于基线。

    Aug, 2023

  • 密集检索作为大空间决策的间接监督

    通过将大空间的判别式自然语言理解任务重新构造为学习检索任务，采用密集检索方法来解决大决策空间的预测问题，提高了预测的泛化能力和决策表示的语义意义。

    Oct, 2023

  • 学习检索：如何有效高效地训练密集检索模型

    信息检索一直是信息检索研究的重点之一。近年来，提出了 Dense Retrieval（DR）技术来缓解诸如词汇不匹配问题等固有缺陷，但是绝大多数现有 DR 模型的培训都依赖于从语料库中抽样负实例来优化成对损失函数，即不公平的样本，因此提出了 Learning To Retrieve（LTRe）培训技术， 它通过预先构建文档索引，并在每个培训迭代中在没有负样本采样的情况下执行全检索，从而在整个语料库中检索相关文档，实验表明，LTRe 在有效性方面明显优于所有有竞争力的稀疏和密集基线。它甚至在合理的延迟限制下比 BM25-BERT 级联系统表现更好。

    Oct, 2020

  • 生成式密集检索：内存可能成为负担

    提出了生成检索（GR）和生成稠密检索（GDR）两种机制，通过克服记忆机制的精度、记忆混淆和记忆更新成本等问题，在小规模语料库中实现了较好的检索性能和可扩展性。

    Jan, 2024

  • 分离和适应：学习跨域解缠深度表示

    本研究提出了一种用于跨域图像特征提取和 unsupervised domain adaptation 的深度学习模型，实现了特征的 disentanglement 和适应，并在实验中证实了其有效性和优越性。

    May, 2017

  • 是否已经到达目的地？一种替换基于词项检索的密集检索系统的决策框架

    本论文提出具有一套标准的框架来比较两种检索系统，该框架以除了简单效果措施之外的标准来衡量，旨在评估一个系统取代另一个系统的准备情况。在 Web 排名方案中，最先进的 DR 模型不仅在平均性能方面表现出色，而且通过广泛的保护装置测试，在不同的查询特征，词汇匹配，一般化和回归数量方面展现了稳健性。

    Jun, 2022

  • 针对密集检索模型的黑盒对抗攻击：一种多视图对比学习方法

    针对密集检索模型的鲁棒性，我们提出了对抗性检索攻击（AREA）任务，并借鉴对神经排名模型的攻击方法，通过在多视图表示空间中鼓励每个视图表示与目标文档以及对应的查看者之间的一致性，以小的不可察觉的文本干扰显著提高攻击效果。

    Aug, 2023