Apr, 2024

De-DSI: 分散可微搜索索引

PDF
TL;DRDe-DSI 是一种新颖的框架，通过将大型语言模型（LLMs）与信息检索真正的分布式化相结合，特别是在分布式环境中采用可微分搜索索引（DSI）的概念，以有效地将新颖的用户查询与文档标识符连接起来，在仅使用查询 - 文档标识符对上进行操作。该框架通过引入 DSI 模型的集合来提高可扩展性，其中数据集被分割为较小的片段进行单独的模型训练。通过使用波束搜索来识别顶级文档标识符并应用 softmax 函数进行评分归一化，从而选择具有最高得分的文档进行检索。该分布式实现表明检索成功率与集中式方法相当，同时具有将计算复杂性分布到网络中的额外好处。该设置还允许通过磁力链接检索多媒体项目，消除了平台或中介的需求。
发现论文，激发创造
  • 可微搜索索引的索引和检索之间的缝隙及查询生成技术

    该研究提出了一种名为 DSI-QG 的简单而有效的检索框架，用于解决当前 DSI 模型存在的数据分布不匹配问题，该框架通过查询生成模型和跨编码器排序器生成潜在相关查询，改善了检索和检索过程之间的数据分布不匹配问题，并在流行的单语和跨语言检索数据集上显著优于原始 DSI 模型。

    Jun, 2022

  • IncDSI: 增量更新文档检索

    Differentiable Search Index 是最近提出的一种用于文档检索的范例，通过将文档语料库的信息编码在神经网络的参数中，并直接将查询映射到相应的文档。本文提出了一种名为 IncDSI 的方法，可以在实时环境下添加文档（每个文档约 20-50ms），而无需对整个数据集或其部分进行重新训练。我们将文档添加视为一个约束优化问题，以最小程度地修改网络参数。尽管速度快了数个数量级，我们的方法与在整个数据集上重新训练模型的方法具有竞争力，并能够实时更新的文档检索系统的开发。IncDSI 的代码可在此 URL 获得。

    Jul, 2023

  • 可微搜索指针的 Transformer 内存

    本文提出可使用单个 Transformer 完成信息检索，通过 DifferentiableSearch Index 实现将文本的所有信息编码于模型参数中，使得检索过程大为简化，实验结果显示该方法明显优于双编码器模型以及 BM25 基线方法。

    Feb, 2022

  • DSI++：使用新文档更新 Transformer 记忆

    DSI++ 是一项针对可微搜索引擎的持续学习挑战，旨在在索引新文档的同时能够回答先前和新文档相关的查询，通过训练集合内的平缓局部最小值和引入生成性记忆等方法，成功缓解了模型遗忘现象，并大幅提高了检索能力。

    Dec, 2022

  • 大型语言模型的分布式推理

    该研究介绍了分布式推理和大型语言模型加速的方法，通过使用分布式推理算法（DSI）可以获得比传统方法更快的推理速度。

    May, 2024

  • PromptDSI：基于提示的无需复习的逐实例增量学习用于文档检索

    PromptDSI 是一种无需重复训练的、基于提示的增量学习方法，使用冻结的 PLM 编码器，并利用其强大的表示能力来高效地索引新的文集，同时维持稳定性和适应性的平衡。该方法通过消除基于提示的持续学习方法的初始前向传播来减少训练和推理时间，并提出了一种基于主题的提示池策略，使用神经主题嵌入作为固定的键，以确保多样化和有效的提示使用，并解决查询键匹配机制崩溃引起的参数低效利用的挑战。我们的实证评估表明，PromptDSI 在管理遗忘方面与 IncDSI 相当，同时在新的文集上提高召回率超过 4%。

    Jun, 2024

  • dIR -- 离散信息检索：使用大型语言模型对非结构化（和结构化）数据进行对话式搜索

    dIR 是一种离散信息检索方法，利用大语言模型（LLM）将文本转化为表达性的表示形式，并通过文本到 SQL 的语义解析器进行查询。该方法使得在自由文本上进行新一类查询成为可能，相较于传统的经过精细调整的密集嵌入模型和基于 SQL 的知识库。

    Dec, 2023

  • DSRIM：一种由知识资源驱动的文档表示增强的深度神经信息检索模型

    本文介绍了一种深度语义资源推理模型，实现了在信息检索中解决词汇不匹配问题，并在 TREC Terabyte 和 TREC CDS 数据集上展示了其在语义和深度学习 IR 模型方面的优越性。

    Jun, 2017

  • 神经序列模型的多样性束搜索：解码多样性解决方案

    提出一种名为 Diverse Beam Search (DBS) 的算法，以优化多样性目标解码出一系列多样化的输出，旨在解决 Beam Search 算法在复杂人工智能任务解码过程中无法准确捕捉复杂任务本质的问题，并在图像字幕生成、机器翻译和视觉问答生成等任务中取得更好的性能表现。

    Oct, 2016

  • 利用领域知识指导通过神经概率软逻辑进行对话结构归纳

    通过在生成神经模型的潜空间中注入符号知识，我们提出了一种新的 Dialog Structure Induction (DSI) 方法 NEUPSL DSI，它在隐藏表示质量、少样本学习和跨领域泛化性能方面提供了持续的性能提升。

    Mar, 2024