Jul, 2022

基于主题粒度的文本表示模型用于文档检索

PDF
TL;DRTGTR is a model for document retrieval that reduces storage requirements by using novel topic-grained representations, while maintaining competitive retrieval accuracy compared to word-grained baselines, and surpassing global-grained baselines.
document retrievaldeep neural methodsrepresentation-based matching paradigmtopic-grained text representationstorage requirements
发现论文，激发创造
  • 生成式密集检索：内存可能成为负担

    提出了生成检索（GR）和生成稠密检索（GDR）两种机制，通过克服记忆机制的精度、记忆混淆和记忆更新成本等问题，在小规模语料库中实现了较好的检索性能和可扩展性。

    Jan, 2024

  • 高效的令牌引导下的图像文本检索与一致多模态对比性训练

    本文提出了一种基于 Token-Guided Dual Transformer (TGDT) architecture 的图像文本检索框架，将粗粒度和细粒度表示学习结合到一个统一的框架中，并提出了一种名为同步多模态对比损失的新型训练目标，通过混合全局和本地跨模态相似性的两个阶段的推理方法，实现了与代表性最新方法相比极低的推理时间下，实现了最先进的检索表现。

    Jun, 2023

  • 生成式信息检索综述

    通过综述 Generative Retrieval（GR）的关键发展、索引和检索策略和挑战，讨论了具有挑战性的生成查询质量、可学习文档标识符、可扩展性和多任务学习框架等未来研究方向，旨在为 GR 提供基础理解并激发信息检索领域的进一步创新。

    Jun, 2024

  • 分层图推理的细粒度视频文本检索

    提出一种基于 Hierarchical Graph Reasoning (HGR) 的模型，将 video-text matching 分解成全局到局部的语义层次；通过基于注意力的图推理生成层次化的文本嵌入，进而引导学习多样化和分层的视频表示，并通过整合不同的 video-text 层次的匹配来捕获全局和局部细节，从而实现视频和文本之间的交叉检索。

    Mar, 2020

  • 长文检索的细粒度蒸馏

    本文提出了一种名为 FGD 的新学习框架，可以通过 multi-granular aligned distillation 快速有效地在长文档中检索相关文档，同时保留了传统的密集检索模式。

    Dec, 2022

  • 生成式检索中的学习排序

    提出了一个称为 LTRGR 的新框架，结合了生成式检索和经典的学习 - 排序模型，通过使用段落排名损失训练自回归模型，只需要额外的训练步骤即可增强当前的生成式检索系统，并在三个公共数据集上实现了最先进的性能。

    Jun, 2023

  • 高效且有效的文本到视频检索：基于粗粒度到细粒度的视觉表征学习

    通过多粒度视觉特征学习和二阶段检索体系结构，本研究提出了一种在检索效果和效率之间取得平衡的文本到视频检索方法，同时在训练阶段采用了参数无关的文本门控交互块和额外的 Pearson 约束来优化跨模态表示学习，从而实现了与当前最先进方法相媲美的性能，且速度快近 50 倍。

    Jan, 2024

  • 生成表示指令调整

    通过生成性行为表示指导调整（GRIT）技术，我们训练了一个大型语言模型，通过区分生成和嵌入任务来同时处理两者，该模型在大规模文本嵌入基准（MTEB）上取得了最佳结果，并在多个生成性任务中超越同类模型。通过进一步扩展，我们的模型在仍属于最佳嵌入模型的同时，优于我们尝试过的所有公开生成性语言模型。此外，我们发现 GRIT 能够实现生成性或嵌入数据的训练，并且无需性能损失。

    Feb, 2024

  • 面向可扩展嵌入式检索的逐步优化的双粒度文档表示

    通过生物粒度文档表示法、稀疏嵌入与压缩感知量化等技术，采用基于深度学习的文档表示和 ANN 搜索技术，设计 Progressive Optimization 框架，实现了大规模的 EB 检索，并在百万级和百亿级的数据集上分别实现了高达 +4.3% 到 +17.5% 的提高检出率，同时在一个搜索平台上实现了较大的回报、回忆和 CTR 这些度量方面的提升。

    Jan, 2022

  • DeepTileBars：神经信息检索术语分布可视化

    本篇研究提出了一种新型的神经信息检索模型 DeepTileBars，能够以子话题和更高层次处理查询到文档之间的匹配关系，其能够更好地捕捉文档的话语结构和匹配模式。实验结果显示，DeepTileBars 在 TREC 2010-2012 Web Tracks 和 LETOR 4.0 等基准数据集上表现优异。

    Nov, 2018