通过提出行为偏差的假设，本文提出了一种通用的编码器 - 解码器变压器框架，以聚合任意假设，进而在检索任务中实现了较大的性能提升，包括 top-$k$ 词语错误率和 Bert F1 得分。

Oct, 2020

提出了一种名为 TextGNN 模型的文本编码器，结合了用户历史行为中的图形信息，自然地扩展了强的双塔结构编码器，可以在低延迟环境中使用，同时在离线和在线的实验中都取得了显著的性能提升。

Jan, 2021

提出了一种上下文生成检索模型，其在生成式检索模型的解码步骤中使用上下文嵌入，结合了双编码器方法和生成式检索模型的优点，显示出比只有普通嵌入的情况更高的性能。

Oct, 2022

本文旨在探讨网络规模的视觉实体识别，介绍了一个名为 GER 的新型实体识别框架，通过学习自动解码一个语义和区别性的 “编码” 来识别目标实体，并证明其在应对网络规模识别复杂性方面具有优势。

Mar, 2024

本篇论文提出了一种使用神经机器翻译方法来直接从查询中生成关键字的检索方法，并采用基于 Trie 的修剪技术来解决目标空间为限制闭合集合的检索环境下的关键字生成问题。该方法被应用于百度商业搜索引擎作为辅助检索分支，使得收益提升 10% 以上。

Feb, 2019

大型语言模型的出现引入了一种新的搜索引擎范式，使用生成模型来收集和总结信息以回答用户查询。我们正式将这种新兴技术统一归类为生成引擎，并认为它具有生成准确和个性化的回答的潜力，正在快速取代谷歌和必应等传统搜索引擎。为了解决内容创作者面临的挑战，我们引入了生成引擎优化（GEO），这是一种通过黑盒优化框架来优化和定义可见性指标，以帮助内容创作者提高其内容在生成引擎回应中的可见性，且经过严格评估，我们展示了 GEO 在生成引擎回应中可提高可见性高达 40％的效果，同时也强调了对特定领域的需求。我们的工作在信息发现系统领域开辟了新的前沿，并对生成引擎和内容创作者产生了深远的影响。

Nov, 2023

本文介绍了嵌入式模型在电商搜索中的应用，该模型由两个塔式变压器编码器构成，利用自适应对抗性学习和级联训练方法，以特别关注基于内容的特征并有效地在噪声大的数据上进行训练，检测出相对于原方案 10％的 RECALL@20 的改进并通过在线 A / B 测试达到了每次搜索中增加购物车数量（CAPS）和商品销售总值（GMV）方面 1.5％和 4.1％的提高。

Sep, 2022

提出了一种新的密集检索模型，使用深度查询交互学习多样的文档表示，通过生成的伪查询对每个文档进行编码，以获得查询信息和多视角的文档表示，不仅具有类似于原始双编码器模型的高推理效率，还可以在文档编码中实现深入的查询 - 文档交互并提供多方面的表示来更好地匹配不同的查询。

Aug, 2022

本研究提出了使用大规模数据和先进技术针对 n-gram 的预训练编码器，并成功将其拓展到不同语言和领域中，得到了在多项 NLP 任务中表现优异的结果。

May, 2021

本研究提出一种使用对比学习和伪标签的方法来预训练文本编码器，旨在提高任务导向对话系统中意图分类的性能。通过在四个意图分类数据集上进行实验，我们的预训练意图感知编码器 (PIE) 模型相比于现有最先进的预训练句子编码器，在 N 路零 / 一次测试中获得了高达 5.4% 和 4.0% 的精度提高。

May, 2023