该研究提出了一种完全无监督学习的句子表示模型 Trans-Encoder，融合了 Bi-Encoder 和 Cross-Encoder 两种学习范式，在多个 benchmark 上表现优于现有的无监督句子编码器。

Sep, 2021

本研究提出多种 fine-tuning 编码器的方法，包括在辅助任务中 fine-tuning，构建新的主题分类任务，将主题分类目标直接整合到主题模型训练中，和继续预训练，实验证明在主题分类和主题模型中直接结合主题分类任务的编码器 fine-tuning 能够有效提高主题质量，同时对于跨语言转移来说，编码器 fine-tuning 是最重要的因素。

Apr, 2021

这篇论文提出了 Cross-Thought 方法用以预训练序列编码器，通过大规模的短序列训练 Transformer-based 序列编码器来自动选择对预测掩码词最有用的信息，用于大规模自然语言处理任务，如问答，文本推断等，实验结果表明，所提出的方法比传统基于连续句子信号的最新编码器以及传统掩码语言模型基线更加优秀，并打破了 HotpotQA (full-wiki setting) 的最新记录，取得了新的最高水平的中间信息检索表现。

Oct, 2020

本文提出了一种高效的 MixEncoder 范式，它包括一种轻量级的交叉关注机制，可以在快速计算的同时实现可比较的性能，大大加速了句子配对。

Oct, 2022

基于 Transformer 的 NLP 模型在计算成本上限制了其应用场景。我们引入了一种新的编码器 - 解码器模型配置（PiD），通过一次编码和并行解码输出来提高结构化输出和问答任务的效率，避免了重复的输入编码以及减小解码器的内存占用，从而获得了可比较或更好性能并具有高达 4.6 倍加速的计算减少。

Mar, 2024

本研究中提出了一种基于多任务学习的文本编码器预训练方法来改进 ELECTRA 模型，通过同时检测替换的标记和从候选集中选择原始的标记来训练判别器，并使用注意力机制网络和共享底部层的技术同时处理各种预训练任务，取得了在 GLUE 和 SQuAD 数据集上的有效和高效的表现。

May, 2021

提出了一种名为 Augmented SBERT 的简单而高效的数据增强策略，用于改善句子配对的分数，基于双编码器的方法，并具有显着的性能提升，尤其是在领域适应任务上。

Oct, 2020

通过多种异构方法的整合，设计了多编码器 Transformer，以提高翻译质量，特别对于低资源语言表现出最大 7.16 BLEU 的提升。

Dec, 2023

本文介绍了多编码器模型在训练语境参数时的困难，并提出了预训练上下文参数的四种不同拆分方法，进而增加上下文训练信号，并缩短上下文片段，从而提高了上下文参数的学习效果。在 BLEU 和对比测试集的评估下，结果表明本方法在低资源和高资源设置下都能有效地提高学习效果。

Mar, 2021

本文提出了一种新的多模态语音和文本输入结构，使用多头交叉注意力结合预训练语音和文本编码器，并在目标问题上联合微调。所得的编码器可用于连续的令牌级别分类或对同时文本和语音进行话语级别的预测，并高效地捕获声学 - 韵律和词汇信息。

Apr, 2022