Aug, 2023

运用传统信息检索方法提升神经排序模型

PDF
TL;DR在这篇论文中，我们探索了一种低资源替代方法，即基于词嵌入的文档检索模型，发现它在与信息检索任务上经过微调的大型 Transformer 模型相比具有竞争力。我们的结果表明，将 TF-IDF（传统的关键词匹配方法）与浅层嵌入模型简单组合，提供了一种低成本的方法，使其在 3 个数据集上与复杂的神经排序模型的性能相媲美。此外，添加 TF-IDF 度量改进了这些任务上大规模微调模型的性能。
neural ranking methodslarge transformer modelsbag-of-embedding modeltf-idfdocument retrieval
发现论文，激发创造
  • 信息检索的神经模型

    本文介绍了神经信息检索模型以及基础概念和直觉，包括传统的学习排序模型的学习技术和基于神经网路以原始文本学习语言表示的自然语言处理方法。同时，也简单介绍了浅层和深度的神经网络以及目前的深度神经网络检索模型，并探讨了神经信息检索未来的发展方向。

    May, 2017

  • 神经信息检索与图嵌入相遇：产品搜索排序模型

    本文介绍了一种利用图嵌入技术使神经信息检索模型可以利用图结构数据进行自动特征提取的方法，并将其应用于电子商务数据集中，结果显示该方法在多个强基线模型和排序框架中都有显著提高。

    Jan, 2019

  • 深入研究信息检索中的神经排名模型

    该研究论文主要讨论了信息检索中的排名模型如何应用传统启发式方法、概率方法和现代机器学习技术等技术构建，并重点介绍了基于浅层或深层神经网络的神经排名模型，分析了其基本原理和学习策略，并通过基准测试比较了这些模型，最后探讨了当前文献中存在的问题以及未来的发展方向。

    Mar, 2019

  • 基于嵌入式大规模检索的预训练任务

    本文研究基于嵌入的检索模型，并探究对段落级别的预训练任务在训练强大的嵌入式 Transformer 模型上的关键作用。

    Feb, 2020

  • 基于 Transformer 的长文档匹配模型：挑战与实证分析

    研究长文档匹配的最新进展集中在使用基于 transformer 的模型进行长文档编码和匹配，本文实证演示了相对于 transformer-based 模型，使用简单的神经模型（如前馈网络和 CNN）和简单的嵌入（如 GloVe 和 Paragraph Vector）在文档匹配任务中的更高效性。

    Feb, 2023

  • 使用 TF-IDF 标签集匹配扩展神经关键字提取

    本文介绍了一种基于神经网络等新方法提取关键词的技术，在欧洲新闻媒体产业中的应用展示出了相当不错的实用效果。

    Jan, 2021

  • 将相关文档纳入 word2vec 中

    本文针对词嵌入模型在信息检索任务中存在的问题及其局限性，提出了一种基于 word2vec Skip-Gram 模型的神经网络模型，通过显式向量表示的方式，增加了模型的可解释性和准确性，实现了查询词汇的局部信息融合，提高了指定任务状态下的表现表现。

    Jul, 2017

  • BERTopic: 一种基于类别的 TF-IDF 过程的神经主题建模方法

    BERTopic 是一种主题模型，通过 BERT 语言模型生成文档嵌入，并利用 TF-IDF 进行聚类和生成主题，具有较高的性能。

    Mar, 2022

  • 细节藏恶魔：评估基于 Transformer 的方法在细粒度任务中的局限性

    该文探讨了基于 transformer 的神经语言模型生成的上下文嵌入在文本相似度问题上的表现，针对不同粒度上的文本匹配任务，发现相较于简单的基准算法 TF-IDF，该模型在细颗粒度上的匹配任务表现欠佳，提出了一种简单而有效的方法，即将 TF-IDF 与上下文嵌入模型相结合，相对性能提升达到 36%。

    Nov, 2020

  • 具有弱监督的神经排名模型

    本文提出了使用弱监督学习方法训练神经排序模型来解决信息检索排名问题，并通过实验结果表明，基于弱标记数据的预训练可以极大地提高神经排序模型的性能。

    Apr, 2017