这篇研究提出了 Homomorphic Projective Distillation（HPD）方法来学习压缩的句子嵌入，通过增加可学习的投影层来模拟大型预训练语言模型并保留句子表示质量。作者通过不同大小的模型对语义文本相似性（STS）和语义检索（SR）任务进行了评估，实验结果表明，相比于相同大小的最佳表示方法，该方法在 STS 任务上实现了 2.7-4.5 个性能提升，在 SR 任务上，该方法相比于最先进的大型模型，提高了检索速度（8.2 倍）和内存使用（8.0 倍）。

Mar, 2022

本篇研究提出了在两种不同类型的 ranker 模型上扩展句子转换蒸馏过程的两种方法，包括生成最优尺寸的词汇表和在蒸馏之前对教师的嵌入维数进行降维。结果表明，采用这些扩展技术的学生模型具有极大的压缩程度，而且在测试数据集上表现出高度的有效性和能用性。

Jun, 2022

该研究加入对比学习以蒸馏多语言表示，并用于平行语句的质量估计。实验证明，该方法在不同的资源稀少语言上显著优于先前的句子编码器，诸如 LASER 等。

Oct, 2022

提出使用 $ ext {MCR}^2$ 最大编码率减少原则来学习区分类别的内在低维结构，可以在有监督学习、自监督学习和无监督学习中以统一的方式学习内在表示，并可产生更鲁棒的标签噪声分类结果。

Jun, 2020

本文将预测编码理论引入 BERT 风格语言模型，以学习适当的语篇水平表示，实现了通过中间层进行顶部到底部的明显连接预测未来的句子，从而在语篇相关知识的基准测试中提高性能，特别是在语篇关系检测方面。

Sep, 2021

本研究提出一种学习组合码嵌入以极大地减小 BERT 等模型尺寸的技术，并将其应用于语义解析，以及评估码嵌入尺寸与下游表现之间的权衡，实现语义解析的高性能同时符合语音助手等设备的存储要求。

Oct, 2020

本文介绍了两种基于 Transformer 和 CNN 模型架构的预训练多语言句子编码模型，并使用基于翻译的桥接任务学习绑定表示将 16 种语言的文本嵌入到单一的语义空间中，以提高检索效率，与最先进的语义检索、翻译检索和检索问题回答模型相竞争，并在某些情况下超越了英文单语句子嵌入模型的表现水平。

Jul, 2019

本研究提出了一种双向长短时记忆网络（BiLSTM）和最大池化层的分层策略，为各种自然语言处理任务提供高效的分层表征，并在多项评估任务中超越 InferSent 和 SkipThought，特别是在评估句子表征中语言特性捕捉的能力方面，优于 InferSent 模型。

Aug, 2018

本文研究了将预训练的语言模型表征集成到序列到序列模型中的不同策略，并将其应用于神经机器翻译和抽象摘要。实验证明，加入编码器网络的预训练表示是最有效的，可以在减慢推理速度仅 14％的情况下获得高达 5.3 BLEU 的增益，并且即使有数百万个句对可用时，仍然可以观察到改进。最后，在 CNN / DailyMail 的完整文本版本上，我们达到了最新的研究成果。

Mar, 2019

通过大量的代码数据进行编码表示学习，使用两阶段的预训练方案以及对比学习的方式增强表示，在各种下游任务上持续显著地超过现有的模型，详细讨论了源代码的自定义和有效的令牌级去噪方案、硬负样本与硬正样本的重要性、提出的双模态对比学习如何提升跨语义搜索性能以及预训练方案对模型规模决定下游任务性能的影响。

Feb, 2024