本文提出了一种能够同时解决语义差异问题和根据用户历史交互提供个性化语义搜索结果的新方法，将图嵌入、transformer 模型和基于术语的嵌入统一到一个嵌入模型中，同时分享了特征工程、硬负采样策略以及 transformer 模型应用方面的技巧。此个性化检索模型增强了用户的搜索体验，并提高了搜索购买率和网站整体转化率。

Jun, 2023

本篇文章研究使用知识图谱中的实体信息是否有助于基于 BERT 的实体检索模型，结果表明使用实体信息的 BERT 模型在复杂自然语言查询和属性筛选等实体相关查询任务中相比传统 BERT 模型具有更好的推荐效果，并且使用该模型可以在数据不足的情况下进行微调以实现对实体搜索的数据有效训练。

May, 2022

本文研究探讨了预训练嵌入在实际生产系统中的挑战及解决方案，找到了预训练和下游模型的编码和解码方式的设计对其性能的巨大影响，提出了一种基于核分析的认识预训练嵌入的方式。以上研究结论通过理论推理、实验和在线测试得到验证。

Apr, 2023

应用语言模型结构代替任务特定的监督并使用卷积图编码器通过显式引入语义解析提高 NLU 任务的性能。

Dec, 2020

本研究中，我们评估了使用四种最先进的预训练模型在模态、身体区域和器官级别进行医学图像检索的可行性，并比较了两种相似性索引方法的结果。结果表明，在没有额外训练或微调步骤的情况下，使用预训练网络进行医学图像检索是可行的，并且在模态、身体区域和器官级别的各种任务中实现了召回率为 1。

Nov, 2023

文章提出了简单且有效的 FGS2EE 方法，通过将语义类型词的嵌入与现有实体嵌入进行线性聚合，注入了细粒度的语义信息进入实体嵌入，以减少其鲜明性并便于上下文语境学习。实验证明，这种嵌入方法在实体链接任务中表现优于先前的方法，并取得了新的最佳效果。

Jun, 2021

信息检索中的全面检索方法被应用于大型语言模型的前提学习中，这些检索方法早期用于经典应用，但近期多用于异构且严格的应用，需要改进小 K 值的检索。我们提出了一种改进的密集检索方法，通过学习预训练嵌入的低秩残差适应来实现任务特定、异构且严格的检索，并在实验证明我们的方法相比于基于通用嵌入的基线有所改进。

Oct, 2023

本文研究如何在计算优化的情况下对文本嵌入模型进行对比训练，通过使用一系列预训练的只有解码器的语言模型来产生最佳的模型配置、数据量和微调方法，从而适应不同的计算预算级别。我们通过广泛的实验得到了这些结论，可以帮助从业者为他们的嵌入模型做出明智的设计选择。具体而言，我们的发现表明，完全微调和低秩适应微调分别在较低和较高的计算预算下产生最佳模型。

Jun, 2024

本文提出了一个新颖的方法，使用少量人为监督来挖掘具有语义相关性的新鲜文档及其主题标签，并设计了一个多任务模型 - NewsEmbed，交替使用对比学习和多标签分类来推导通用文档编码器，在多个自然语言理解任务中实现了出色的性能表现。

Jun, 2021

提出了一种新颖的学习技术 ——Delta Embedding Learning 以优化调整单词嵌入，并通过结构化正则化确保了单词嵌入的逐步调整，提高了各种 NLP 任务的性能，并证实调整后的单词嵌入具有更好的语义属性。

Dec, 2018