Jul, 2023

IncDSI: 增量更新文档检索

PDF
TL;DRDifferentiable Search Index 是最近提出的一种用于文档检索的范例，通过将文档语料库的信息编码在神经网络的参数中，并直接将查询映射到相应的文档。本文提出了一种名为 IncDSI 的方法，可以在实时环境下添加文档（每个文档约 20-50ms），而无需对整个数据集或其部分进行重新训练。我们将文档添加视为一个约束优化问题，以最小程度地修改网络参数。尽管速度快了数个数量级，我们的方法与在整个数据集上重新训练模型的方法具有竞争力，并能够实时更新的文档检索系统的开发。IncDSI 的代码可在此 URL 获得。
differentiable search indexdocument retrievalincdsireal-timeneural network
发现论文，激发创造
  • DSI++：使用新文档更新 Transformer 记忆

    DSI++ 是一项针对可微搜索引擎的持续学习挑战，旨在在索引新文档的同时能够回答先前和新文档相关的查询，通过训练集合内的平缓局部最小值和引入生成性记忆等方法，成功缓解了模型遗忘现象，并大幅提高了检索能力。

    Dec, 2022

  • De-DSI: 分散可微搜索索引

    De-DSI 是一种新颖的框架，通过将大型语言模型（LLMs）与信息检索真正的分布式化相结合，特别是在分布式环境中采用可微分搜索索引（DSI）的概念，以有效地将新颖的用户查询与文档标识符连接起来，在仅使用查询 - 文档标识符对上进行操作。该框架通过引入 DSI 模型的集合来提高可扩展性，其中数据集被分割为较小的片段进行单独的模型训练。通过使用波束搜索来识别顶级文档标识符并应用 softmax 函数进行评分归一化，从而选择具有最高得分的文档进行检索。该分布式实现表明检索成功率与集中式方法相当，同时具有将计算复杂性分布到网络中的额外好处。该设置还允许通过磁力链接检索多媒体项目，消除了平台或中介的需求。

    Apr, 2024

  • 可微搜索索引的索引和检索之间的缝隙及查询生成技术

    该研究提出了一种名为 DSI-QG 的简单而有效的检索框架，用于解决当前 DSI 模型存在的数据分布不匹配问题，该框架通过查询生成模型和跨编码器排序器生成潜在相关查询，改善了检索和检索过程之间的数据分布不匹配问题，并在流行的单语和跨语言检索数据集上显著优于原始 DSI 模型。

    Jun, 2022

  • PromptDSI：基于提示的无需复习的逐实例增量学习用于文档检索

    PromptDSI 是一种无需重复训练的、基于提示的增量学习方法，使用冻结的 PLM 编码器，并利用其强大的表示能力来高效地索引新的文集，同时维持稳定性和适应性的平衡。该方法通过消除基于提示的持续学习方法的初始前向传播来减少训练和推理时间，并提出了一种基于主题的提示池策略，使用神经主题嵌入作为固定的键，以确保多样化和有效的提示使用，并解决查询键匹配机制崩溃引起的参数低效利用的挑战。我们的实证评估表明，PromptDSI 在管理遗忘方面与 IncDSI 相当，同时在新的文集上提高召回率超过 4%。

    Jun, 2024

  • 可微搜索指针的 Transformer 内存

    本文提出可使用单个 Transformer 完成信息检索，通过 DifferentiableSearch Index 实现将文本的所有信息编码于模型参数中，使得检索过程大为简化，实验结果显示该方法明显优于双编码器模型以及 BM25 基线方法。

    Feb, 2022

  • 一种用于文档检索的神经语料库索引器

    本文研究介绍了一种基于神经网络领域的全端到端文档检索方法，通过采用特定的技术，包括查询生成、语义文档标识符和基于一致性的规则化，并引入前缀感知、权重适应解码器架构，NCI（神经语料库索引器）可以直接生成相关文档标识符以实现课题回忆的最佳表现。经实证研究，NCI 在两个常用的学术基准测试中，相对于最佳基线方法，在 NQ320k 数据集的 Recall@1 上实现了 + 21.4% 的相对增强，在 TriviaQA 数据集的 R-Precision 上实现了 + 16.8% 的相对增强。

    Jun, 2022

  • 大型语言模型的分布式推理

    该研究介绍了分布式推理和大型语言模型加速的方法，通过使用分布式推理算法（DSI）可以获得比传统方法更快的推理速度。

    May, 2024

  • 具有动态查询的图像分割的持续学习

    基于持续学习的图像分割方法，通过增量动态查询实现了概念解耦，克服了灾难性遗忘和背景漂移问题，同时在语义分割和实例分割任务上取得了最先进的性能。

    Nov, 2023

  • DSRIM：一种由知识资源驱动的文档表示增强的深度神经信息检索模型

    本文介绍了一种深度语义资源推理模型，实现了在信息检索中解决词汇不匹配问题，并在 TREC Terabyte 和 TREC CDS 数据集上展示了其在语义和深度学习 IR 模型方面的优越性。

    Jun, 2017

  • 基于二进制符号索引的半参数检索

    信息检索的研究领域逐渐扩大，从搜索服务发展为各种高级应用的关键组成部分。为了提高检索效率、成本效益和实时性，本文介绍了一种名为 Semi-parametric Vocabulary Disentangled Retrieval（SVDR）的新型半参数化检索框架。在三个开放域问答基准测试中，使用整个维基百科语料库进行评估，SVDR 始终显示出卓越性能。它使用基于嵌入的索引在 top-1 检索准确率上比基于嵌入的检索方法 DPR 高出 3％，使用基于二进制令牌的索引在 top-1 准确率上比 BM25 高出 9％。采用二进制令牌索引的方式将索引准备时间从 30 个 GPU 小时减少到仅需 2 个 CPU 小时，存储空间从 31 GB 减少到 2 GB，实现了 90％的降低，相较于基于嵌入的索引。

    May, 2024