该研究利用词义消歧方法，在词输入编码器之前使用上下文感知的词嵌入来区分单词的多义性，解决神经机器翻译（NMT）系统在翻译歧义单词时存在的问题，实验表明该方法提高了 NMT 系统的翻译准确率。

Aug, 2017

通过比较多种 BERT-based 语言模型中的语境化词嵌入，我们评估了西班牙语歧义名词的语义表达。我们开发了一个新颖的句子数据集，并收集了人类的相关性判断。结果显示，这些语言模型的语义表达在人类判断中捕捉到一些差异，但不能达到人类水平。与英语不同，我们发现在西班牙语中，模型规模与性能之间没有相关性。此外，我们还发现了目标名词消歧的陈规轨迹，并在英语中部分复制了这一结果。我们贡献了（1）一组包含人类相关性判断的西班牙语句子刺激数据集，以及（2）认识到语言模型规格（结构，训练方案）对语境化嵌入的影响。

Jun, 2024

研究表明，最新的希伯来语情境嵌入模型在消除希伯来语同形异义词和分析词素、句法特征方面效果显著，尤其在限制分词数、2 种和 3 种歧义的情况下，对于平衡和不平衡分布的同形异义词同样有效，无论是有监督训练还是几次训练。

May, 2024

本文研究了语境化语言模型的多义词辨别能力。作者提出了一个人工注释的数据集，用于评估多义词词义的相似性，发现多义词的词义相似性介于相同和同音异义之间，并呈现出一定的词义变化规律性。BERT Large 在相似性等级方面表现最佳，但无法一致地复制观察到的相似性模式，并且在某些类型的多义词变化上存在问题。

Sep, 2021

本文提出一种新的方法来解决神经机器翻译中同形异义词的问题，该方法利用编码器的隐藏状态以及受 WordNet 数据集启发的同义词句子进行 encoder 的微调，从而实现单词级别的同形异义词消歧表示（HDR），最终应用于 transformer-based NMT 以提高 BLEU 得分和其他翻译准确度指标。

Apr, 2023

本文介绍了一个新的英法数据集，通过该数据集的分析，指出机器翻译模型在消歧代词和多义词方面经常无法利用上下文信息，通过引入 SCAT，作者提出了一种指导注意力策略来促进模型的注意力分配与 SCAT 的支持上下文的一致性。

May, 2021

我们将蛋白质语言模型 MSA Transformer（多序列比对变换器）应用于自动语音演变重建问题，命名为同源变换器，并在同源反射预测任务中得出优于现有模型的结果，特别是在掩码词预测任务的预训练下。

Oct, 2023

基于转换器的架构用于自动认知检测任务，在一定程度的监督下，该方法比现有方法表现更好，证明了利用标记信息的效果，并且通过接受多个序列对齐作为输入和具有链接预测头的端到端架构可以节省大量计算时间并同时产生更好的性能。

Feb, 2024

本文使用 Transformer 的最新可解释性进展提出了分析语言生成模型的过程，并使用对比实例比较了我们的方法与渐变和扰动基线的解释的一致性，结果表明我们的方法具有更好的表现。最后，我们将该方法应用于神经机器翻译模型，并展示了生成人类相似的源 - 目标对齐结果的能力。

May, 2023

本研究使用合成机制来考察 transformers 在处理全局信息与上下文信息时的权衡，发现这些模型相对较快地学习了全局信息，但对于上下文信息中的二元组的识别则较慢，同时探究了权重矩阵作为联想记忆的作用以及梯度如何使其在训练时进行学习的理论机制，同时研究了数据分布属性的作用。

Jun, 2023