Mar, 2022

Tevatron: 高效灵活的密集检索工具包

PDF
TL;DR本文介绍了 Tevatron，一个用于密集检索的工具包，其优化了效率、灵活性和代码的简明性。Tevatron 为密集检索提供了标准化的流程，包括文本处理、模型训练、语料库 / 查询编码和搜索等。作者展示了 Tevatron 在多个 IR 和 QA 数据集上的效果和效率，并证明了其灵活的设计可以轻松地在数据集、模型架构和加速器平台（GPU/TPU）之间进行推广。作者认为 Tevatron 可以作为密集检索系统研究的有效软件基础，包括设计、建模和优化。
deep pre-trained language modelsembedding-based dense retrievaltevatronefficiencyflexibility
发现论文，激发创造
  • 密集稀疏检索：使用稀疏语言模型进行推理高效密集检索

    研究使用稀疏语言模型替代矢量检索系统来提高推理效率，实验结果表明使用 MSMARCO 数据集，精确度几乎没下降，推理速度最多提高了 4.3 倍。

    Mar, 2023

  • Ultron: 基于模型索引器的终极语料库检索器

    本文提出了基于模型的索引器 Ultron，通过在模型中编码所有文档的知识直接实现端到端的相关文档检索，解决了索引和检索分离的难题，并通过语义丰富且易于模型推理的 docids 以及三阶段的训练流程捕获语料库中的更多知识和查询与 docids 之间的关联，证明了在两个公共数据集上比先进基准线更优越的文档检索表现。

    Aug, 2022

  • 使用 Transformer 评估密集通道检索

    本文提出了一个用于衡量基于 Transformers 的检索模型的统一框架，该框架基于最佳实践和先前研究中的规范，并使用 MSMARCO 数据集的 dev 集合和 trec_eval 脚本来计算模型的主要指标 MRR@100，通过该框架可以更公平比较不同检索模型。

    Aug, 2022

  • 使用 PyTerrier 进行信息检索的声明性实验

    本研究提出了一个名为 PyTerrier 的框架，它利用深度机器学习技术如 Tensorflow 和 Pytorch，并采用类似于它们的声明式语言，实现信息检索系统高效检索管道的自动化优化。在 TREC Robust 和 ClueWeb09 测试集上的测试结果表明，PyTerrier 可以提高检索效率。

    Jul, 2020

  • 基于预训练语言模型的密集文本检索：一项调查研究

    本文介绍了近期基于 PLMs 的 dense retrieval 的相关研究进展，从架构、训练、索引、集成四个方面总结了主流技术，并提供了网站和代码库等丰富资源以支持读者的研究工作。

    Nov, 2022

  • 对话系统中快速轻量级答案文本检索

    本文研究表明，使用大量参数的深度学习模型可用于启用高级神经密集检索系统有效地运行于相对廉价的硬件上，特别适用于云服务中支持大量个性化对话系统以及其各自的文本语料库。

    May, 2022

  • 构建基于树的索引以实现高效稠密检索

    本研究提出 JTR，通过联合优化基于树的索引和查询编码，采用负采样和聚类优化策略来提高检索效率，提高神经检索系统在检索性能和系统效率之间的平衡。

    Apr, 2023

  • UnifieR: 大规模信息检索统一检索器

    本论文提出了一种名为 UnifieR 的学习框架，它将基于预训练语言模型的密集向量和基于词汇表的检索统一在一个模型中，并在多个基准测试中验证了其有效性和可转移性。

    May, 2022

  • TEXTRON: 弱监督的多语言文本检测通过数据编程

    提出了一种称为 TEXTRON 的基于数据编程的方法，它通过加入不同的计算机视觉方法和深度学习方法来改善多语种文本检测，特别是对于印度语言中的手写文字，TEXTRON 可以提高检测性能，尽管缺乏相应的标注数据。

    Feb, 2024

  • 从数十万亿的标记中检索以提高语言模型

    通过从大型语料库中检索与前面 token 相似的文档块来改善自回归语言模型的条件，并创建 Retrieval-Enhanced Transformer（RETRO），该模型在 Pile 数据集上的表现与 GPT-3 和 Jurassic-1 相当。 RETRO 结合一个冻结的 Bert 检索器，一个可微分的编码器和一个分块交叉关注机制，可以基于比通常在训练期间消耗的数据量高一个数量级的数据预测 token，并在 fine-tuning 后转化为下游的 knowledge-intensive 任务，例如问答等，这一研究为利用显式记忆来提高语言模型的性能开辟了新的途径。

    Dec, 2021