本文研究了语境化语言模型的多义词辨别能力。作者提出了一个人工注释的数据集，用于评估多义词词义的相似性，发现多义词的词义相似性介于相同和同音异义之间，并呈现出一定的词义变化规律性。BERT Large 在相似性等级方面表现最佳，但无法一致地复制观察到的相似性模式，并且在某些类型的多义词变化上存在问题。

Sep, 2021

该研究利用词义消歧方法，在词输入编码器之前使用上下文感知的词嵌入来区分单词的多义性，解决神经机器翻译（NMT）系统在翻译歧义单词时存在的问题，实验表明该方法提高了 NMT 系统的翻译准确率。

Aug, 2017

将显式的形态学知识引入预训练阶段可以改善用于形态学丰富语言的预训练语言模型的性能，并且基于形态学驱动的分词方法相比普通的通用语言分词方法在语义和形态任务的基准测试中显示出了改进的结果，这些发现表明将形态学知识整合进预训练语言模型中具有进一步提高形态学丰富语言性能的潜力。

Nov, 2023

本文研究了将用户提供的术语融入翻译中的词汇约束机器翻译（LNMT）模型，并提出了具有挑战性的评估方法和 PLUMCOT 方法来解决模型中挑战性的词汇约束问题，并提出了一个评估基准，结果表明 PLUMCOT 在处理 “看不见” 的约束条件方面效果显著。

Jun, 2023

使用序列生成结构的多语言模型能够更好的处理像希伯来语这样的形态丰富语言，从而提高希伯来语自然语言处理，与以往的编码器结构的预训练模型相比，取得了显著改善。

Dec, 2022

通过利用大型语言模型，我们研究了在机器翻译中解决语义歧义的能力，并提出了两种改进方法，通过上下文学习和在精心策划的歧义数据集上的微调，我们的方法在五种语言方向中有四种能够匹敌或胜过 DeepL 和 NLLB 等最先进的系统，为将大型语言模型有效地用于歧义消解的机器翻译提供了有价值的见解。

Sep, 2023

我们引入了一个新的波斯同音异形词消歧数据集，对各种嵌入进行了全面探索，并通过余弦相似度和分类等下游任务来评估其有效性。我们训练了多种机器学习和深度学习模型进行同音异形词消歧，并在准确度、召回率和 F1 分数等方面对模型的性能进行了细致分析，从而深入了解它们的优势和限制。

May, 2024

对于语言中包含丰富词形的复杂语言，使用预训练字符序列的 BERT-style 掩码语言模型进行训练和推理而不是基于子单元的方式可能会得到更好的表现。但是，对于语义任务，基于子单元的 PLM 表现更好，这证实了基于子单元的分词作为许多语言的合理建模假设的潜力。

Apr, 2022

本文提出一种新的方法来解决神经机器翻译中同形异义词的问题，该方法利用编码器的隐藏状态以及受 WordNet 数据集启发的同义词句子进行 encoder 的微调，从而实现单词级别的同形异义词消歧表示（HDR），最终应用于 transformer-based NMT 以提高 BLEU 得分和其他翻译准确度指标。

Apr, 2023

通过比较多种 BERT-based 语言模型中的语境化词嵌入，我们评估了西班牙语歧义名词的语义表达。我们开发了一个新颖的句子数据集，并收集了人类的相关性判断。结果显示，这些语言模型的语义表达在人类判断中捕捉到一些差异，但不能达到人类水平。与英语不同，我们发现在西班牙语中，模型规模与性能之间没有相关性。此外，我们还发现了目标名词消歧的陈规轨迹，并在英语中部分复制了这一结果。我们贡献了（1）一组包含人类相关性判断的西班牙语句子刺激数据集，以及（2）认识到语言模型规格（结构，训练方案）对语境化嵌入的影响。

Jun, 2024