使用多语言预训练语言模型的上下文表示仅探测习语性的方法，实验发现模型规模越大在习语性探测上越有效。然而，使用较高的模型层不一定能够保证更好的性能。在多语言场景下，不同语言的融合不一致，资源丰富的语言比其他语言更具有优势。

May, 2022

机器翻译的一个挑战是正确翻译习语表达，本研究提供了对习语翻译及相关问题的简单描述，并通过实验找到了适合使用习语翻译的临界点。为了丰富多语种资源，我们编制了一个包含法语、芬兰语和日语中约 4 千个自然句子的数据集，同时引入了两种简单而有效的技术来改进自然习语的翻译，这不仅在习语句子的准确性上提高了强大预训练机器翻译模型达到了 13% 的绝对准确度，而且也对非习语句子存在潜在的好处。

Oct, 2023

通过利用平行语料库和非平行语料库，采用对比学习等方法，有效提高了预训练多语言语言模型的跨语言传递能力，同时显著提高了检索性能，且计算成本较低。

Oct, 2022

本文介绍一种利用三元组损失和变种 kNN 方法，以及基于音韵相似性的三元组挖掘方法相结合的表示学习技术，显著提高卷积网络的分类准确率，特别在语音识别领域中。作者还在 Google 语音命令数据集 V1 和 V2 中刷新最佳 SOTA 并超过 50% 的准确率提升。

Jan, 2021

本文提出了一种多语言对抗训练模型，以判断一个句子是否包含习语表达。该模型利用不同多语言最先进的基于转换器的语言模型（即多语言 BERT 和 XLM-Roberta）的预训练上下文表示以及对抗性训练，提高模型的泛化能力和鲁棒性，在不依赖于人工创造的特征，知识库或除目标数据集以外的其他数据集的情况下，我们的模型取得了有竞争力的结果，在 SubTask A（零样本）设定中排名第 6 位，在 SubTask A（单样本）设定中排名第 15 位。

Jun, 2022

本文提出了一种三元组训练方案，借助额外的微调阶段和三元组损失在跨语言语音合成中提高发音自然度和可懂度。

Feb, 2022

本文提出了一种名为 Css-Net 的共识网络模型，通过包含四个不同组成者的共识模块，采用 Kullback-Leibler 散度损失来使它们通过学习减少从噪声三元组中学习到的偏差并达成一致，进而减轻三元组歧义问题，提高基准测试的重要性能。

Jun, 2023

本文提出了一种基于实例区分的方法 PairSupCon，旨在通过高级分类概念编码在语义蕴含和矛盾理解之间建立联系。该方法在各种下游任务中均取得了极好的效果，超过了先前的最先进方法。

Sep, 2021

本研究提出了一种新的鲁棒训练方法，即 Fast Triplet Metric Learning (FTML)，通过采用三元组度量学习来让相似的样本在嵌入空间中的表示更接近，并与其敌对样本有类似的表示，从而提高自然语言处理模型在对抗攻击下的鲁棒性。实验证明，该方法不仅有效地提高了模型的鲁棒性，而且效率高，可在标准训练中引入很少的开销，具有很大的潜力来提高文本的鲁棒性。

Feb, 2022

本文采用大批量对比学习的方法，提高不同模态数据的联合嵌入效果，实现超越先前文献的文本形状检索；同时，提出了三模态学习方案以更好地表示所有模态。

Jan, 2022