本研究提出了一种新的鲁棒训练方法，即 Fast Triplet Metric Learning (FTML)，通过采用三元组度量学习来让相似的样本在嵌入空间中的表示更接近，并与其敌对样本有类似的表示，从而提高自然语言处理模型在对抗攻击下的鲁棒性。实验证明，该方法不仅有效地提高了模型的鲁棒性，而且效率高，可在标准训练中引入很少的开销，具有很大的潜力来提高文本的鲁棒性。

Feb, 2022

本文介绍了一种利用集成学习方法构建元嵌入（meta-embeddings) 的方式，通过将不同的公开嵌入集合相结合，提高嵌入语义的质量。和单个嵌入集相比，元嵌入可以更好地完成词相似性，词类标注等任务，并且具有更广泛的词汇覆盖。

Aug, 2015

介绍了一种名为特征复用的高效且高效的框架，该框架通过使用单个表示空间跨越许多不同的分类特征，解决了特征嵌入算法中的瓶颈。在三个公共基准数据集上，多路复用表示法导致 Pareto 最优的参数 - 准确性权衡。统一嵌入给出了显着的纠正 Web-Scale 的离线和在线指标的结果。

May, 2023

通过研究推荐数据的使用方式和特征，本文提出了一种称为 FAE 框架的热嵌入感知数据布局，利用有限的 GPU 内存存储高访问嵌入，以减少 CPU 到 GPU 的数据传输并加速执行，从而将推荐模型的训练时间降低了 2.3 倍。

Mar, 2021

本研究旨在通过分析话语以预测协作成功，引入了一种多特征嵌入方法（MFeEmb），它结合了文本、结构和语义信息，包括词汇、对话和情感特征，通过使用对话行为和情感特征降低自然分布变化带来的性能损失，并在不同领域的团队表现中展示了 MFeEmb 的泛化性能。

Feb, 2023

通过在嵌入空间进行单步扰动生成和扰动初始化的研究，我们提出了一种快速对抗训练（FAT）方法，以改善模型在无同义词感知情况下的鲁棒性，实验证明 FAT 显著提高了 BERT 模型在各种攻击下的鲁棒性。

Jan, 2024

探索对抗训练方法以学习领域不变特征，从而使语言模型可以对域外数据集进行良好的推广。我们还审查了各种其他方法来提高我们的模型性能，包括通过改写句子实现数据增强、将回答跨度预测的结尾词映射到开始词上以及精心设计的退火函数。我们的初步结果表明，在结合这些方法的情况下，与基线相比，在域外验证数据集上我们能够实现 EM 分数 15.2% 的提高和 F1 分数 5.6% 的提高。

Jun, 2022

本文为填补学界在 Meta-embedding learning 系统调查领域的空白着重于分类 Meta-embedding learning 方法，并在讨论其限制和未来研究方向时，探究了该方法在多源嵌入语义中的优势。

Apr, 2022

本文介绍了 Twitter 在处理海量信息时的一种解决方案，通过采用嵌入模型，实现了同时考虑模型效率与数据分布的算法更新，从而降低因语言变化带来的协变量漂移、减少冗余，并极大地提高了团队建模的效率。

Sep, 2018

提出一种无监督的本地线性元嵌入学习方法，使用预先训练好的分布式词嵌入生成更准确的元嵌入，表现优于该领域现有技术，建立新的元嵌入技术的最先进状态。

Sep, 2017