SIGIRApr, 2019

低频项对神经信息检索模型的影响

PDF
TL;DR本研究分析了低频词对神经信息检索模型的性能和稳健性的影响，通过对三个不同的最近神经信息检索模型进行控制实验，发现采用 FastText 对于低频词查询可以带来明显的性能提升。
low-frequency termsneural ir modelsperformanceword embeddingsfasttext
发现论文，激发创造
  • 频率解释了大型语言模型的大小、训练数据量和意外性与阅读时间的逆相关关系

    大型、数据庞大的基于 Transformer 的语言模型对于罕见单词的预测更加准确，从而导致它们的意外度估计与人类的阅读时间相关性降低。

    Feb, 2024

  • 信息检索的神经模型

    本文介绍了神经信息检索模型以及基础概念和直觉，包括传统的学习排序模型的学习技术和基于神经网路以原始文本学习语言表示的自然语言处理方法。同时，也简单介绍了浅层和深度的神经网络以及目前的深度神经网络检索模型，并探讨了神经信息检索未来的发展方向。

    May, 2017

  • 运用传统信息检索方法提升神经排序模型

    在这篇论文中，我们探索了一种低资源替代方法，即基于词嵌入的文档检索模型，发现它在与信息检索任务上经过微调的大型 Transformer 模型相比具有竞争力。我们的结果表明，将 TF-IDF（传统的关键词匹配方法）与浅层嵌入模型简单组合，提供了一种低成本的方法，使其在 3 个数据集上与复杂的神经排序模型的性能相媲美。此外，添加 TF-IDF 度量改进了这些任务上大规模微调模型的性能。

    Aug, 2023

  • 数据规模和频率范围对分布语义模型的影响

    本研究旨在探究数据规模和频率范围对分布语义模型的影响。比较了几种代表性模型在不同规模的数据和各种不同频率的测试项下的性能表现。结果表明，当数据规模较小时，基于神经网络的模型表现不佳，而在各种规模和频率范围的数据下，可靠性最高的模型是倒置分解模型。

    Sep, 2016

  • 学术检索中语言模型的低效性：一个实验性概述

    评估科学语言模型在处理短查询文本和文本邻居时的能力，并通过小扰动生成的文本邻居证明不是所有扰动都会导致嵌入空间中的接近邻居。此外，研究发现检索性能更受文本表面形式的影响，而不是文本的语义。

    Mar, 2022

  • 将相关文档纳入 word2vec 中

    本文针对词嵌入模型在信息检索任务中存在的问题及其局限性，提出了一种基于 word2vec Skip-Gram 模型的神经网络模型，通过显式向量表示的方式，增加了模型的可解释性和准确性，实现了查询词汇的局部信息融合，提高了指定任务状态下的表现表现。

    Jul, 2017

  • 面向频率的对比学习在神经机器翻译中的应用

    本文提出一种基于词频感知的令牌级对比学习方法，旨在从表示学习角度解决现代神经机器翻译系统中低频词预测的挑战。经实验证明，所提出的方法不仅可以显著提高翻译质量，还可以增加词汇多样性并优化词表示空间。与相关的自适应训练策略相比，该方法在不牺牲精度的前提下提高了低频词汇量的召回率稳健性。

    Dec, 2021

  • 大型语言模型在信息检索中的应用：综述

    信息检索系统和大型语言模型的融合，包括关键方面，如查询重写、检索、重新排序和阅读器，在这一快速发展的研究领域中提供全面的概述和深入的见解。

    Aug, 2023

  • 上下文神经语言建模在信息检索中的应用

    本文探讨了利用上下文语境中的神经语言模型 BERT，可以提供更深入的文本信息理解，以增强预先训练的 BERT 模型以及相关的搜索任务。

    May, 2019

  • 预训练词频对少样本推理的影响

    本文研究预训练语言模型在数值推理方面的能力，以及该能力强弱与预训练数据中各项词语的出现频率之间的关系。研究结果表明，模型对出现频率较高的词语表现更为准确。此外，作者认为在解释理论评价结果时，应考虑到预训练数据带来的影响。

    Feb, 2022