ACLNov, 2022

通过填补单词表和词频间隙实现稀疏检索的无监督领域自适应

PDF
TL;DR本文提出了一种使用预训练语言模型的信息检索模型 SPLADE，介绍了它在处理实际场景中的鲁棒性及其存在的问题，最后提出了一种无监督领域自适应方法，通过补充语料库中的低频词汇并使用逆文档频率权重来提高检索性能。实验结果表明，该方法在具有大量词汇差距的数据集上优于当前最先进的领域自适应方法，并与 BM25 相结合取得了最新的性能结果。
ir modelspretrained language modelspladeunsupervised domain adaptation methodinverse document frequency weights
发现论文，激发创造
  • 信息检索的稀疏词法和扩展模型 SPLADE v2

    本文通过对 SPLADE 模型的改进，在效率和效果上都有了提升，其中包括修改 pooling 机制、基于文档扩展的模型、引入蒸馏训练，最终取得了在 BEIR 测试上最新的最优结果。

    Sep, 2021

  • 文本增强领域自适应半监督协同过滤

    利用领域自适应方法，将标注充足数据领域的知识迁移到充足数据缺失的领域，并通过对齐潜在向量空间和提取用户和物品的领域不变文本特征解决隐式反馈推荐系统中数据稀疏性的问题。三个真实数据集的结果表明，该方法优于现有算法。

    Jun, 2020

  • 神经信息检索的无监督领域自适应

    比较了使用大型语言模型生成查询和基于规则的方法进行合成注释来进行神经信息检索，结果表明大型语言模型在所有情景中的性能优于基于规则的方法，而无监督领域适应相对于零样本方式应用监督信息检索系统是有效的。

    Oct, 2023

  • SPLADE: 用于第一阶段排序的稀疏词汇和扩展模型

    本文介绍了基于显式稀疏正则化和对术语权重的对数饱和效应的首位排序器，具有高度稀疏的表示，与最先进的密集和稀疏方法相比取得了有竞争力的结果，并探讨了效率和效果之间的平衡。

    Jul, 2021

  • SPLADE 模型效率研究

    本文主要聚焦于基于预训练语言模型的信息检索系统，提出了一系列技术包括 L1 正则化、分离文档 / 查询编码器、使用更快速的查询编码器等方法，以提高 SPLADE 模型的效率并在领域内数据上提高性能指标。在相同计算限制下，我们提出的神经模型实现了与传统 BM25 相似的延迟和与最先进的单阶段神经排序器相似的性能指标。

    Jul, 2022

  • 使用非监督领域发现技术扩展专家级语言模型

    采用异步训练、领域发现及专家语言模型等方法，针对大规模稀疏语言模型进行了研究，实现了高效的语言模型训练。实验结果表明，针对语料库的聚类分析和专家模型的培训对于提升模型性能至关重要。

    Mar, 2023

  • 预训练语言模型的高效分层领域自适应

    本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

    Dec, 2021

  • 面向神经机器翻译的无监督领域自适应与领域感知特征嵌入

    提出一种通过使用语言建模来学习领域感知特征嵌入，在多个实验中提高神经机器翻译性能的方法，该方法允许使用者指定特定领域的文本表示。

    Aug, 2019

  • 带对抗训练的语言模型有效无监督领域自适应

    本文探讨了如何利用适当的遮罩策略来提高基于掩蔽的语言模型在领域自适应任务上的性能，并提出了一种有效的训练策略，即通过对更难以恢复的标记进行对抗性遮蔽，以使模型更好地适应目标任务。通过六个无监督领域适应任务，该方法在命名实体识别方面显著优于随机遮蔽策略，提高了 1.64 个 F1 分数。

    Oct, 2020

  • SPDF：大型语言模型的稀疏预训练和密集微调

    本文提出了一种基于稀疏先训练和密集微调的预训练语言模型方法，可将训练 FLOPs 的数量降低到原来的 2.5 倍，同时保持与密集基线相同的下游任务准确性。该方法为训练大规模 GPT 模型提供了一个可行的方向。

    Mar, 2023