本文基于大规模比较研究了常用的大规模神经语言和蒙面语言模型（LM 和 MLM），比如 Context2vec，ELMo，BERT，XLNet，在词汇替换任务中的应用。研究表明，如果目标词语的信息被适当地注入，则可以进一步提高 SOTA LM / MLM 已经具有的竞争结果，并比较几种目标注入方法。此外，提供不同模型生成的目标及其替代词之间语义关系类型的分析，从而深入探究生成或由注释员提供的替代词的种类。

May, 2020

本研究探究了如何利用重述生成器从众多的替换候选词中生成一个最优的替换候选词的问题， 提出了两种解码策略， 实验结果表明，这些策略能够在所作的基准测试中胜过基于预训练语言模型的现有的词汇替换方法。

May, 2023

我们通过研究由词汇替换引入的意外上下文的影响，建模了语义变化，并提出了一种替换模式作为可解释的语义变化模型，同时还首次评估了使用 LLaMa 进行语义变化检测的方法。

Apr, 2024

本文提出了一种基于上下文感知词汇替换的自然语言水印方案，该方案使用 BERT 来推荐 LS 候选词，并基于同步性和可替换性设计选择策略，结果表明该水印方案能够很好地保留原始句子的语义完整性，并且具有更好的可转换性。

Dec, 2021

LexSubCon 是一种端到端的词汇替换框架，结合上下文嵌入模型与结构化词汇资源，在词汇替换任务中取得高精度替换候选词，并通过混合嵌入策略、文档定义相似度和微调的句子相似性模型计算每个替换对句子语义的影响，从而优于先前的最先进方法。

Jul, 2021

本文采用预训练语言模型提出一种新的无监督词汇替换方法，通过根据单词在多个上下文中的平均上下文表示相似性来检索替代词，实验表明该方法在英语和意大利语上表现明显优于强基线，并且能够成功预测低频替代词且不受形态和句法中的词汇一致性的影响。

Sep, 2022

我们提出了一种基于无监督学习的词汇简化方法，仅使用单语数据和预训练语言模型。根据目标词和其上下文，我们的方法基于目标上下文和从单语数据中抽样的附加上下文生成替代词。我们在 TSAR-2022 共享任务的英语、葡萄牙语和西班牙语上进行实验，并表明我们的模型在所有语言上都显著优于其他无监督系统。我们还通过与 GPT-3.5 模型组合，建立了一个新的最先进模型。最后，我们在 SWORDS 词汇替换数据集上评估我们的模型，获得了最先进的结果。

Nov, 2023

本文提出两种方法解决神经机器翻译中罕见单词的误译问题，一为限制向量范数，避免高频词过度约束；二为引入词汇模块与其他模块联合训练得到更好的翻译结果。通过对 8 种语言对的数据进行测试，结果显示本文方法的 BLEU 分数提升了最高可达 +4.3，并且在几乎所有设置中优于基于短语的翻译。

Oct, 2017

本研究针对 6 种不同语言和 5 种不同词汇任务，对单语和多语言源 LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

Oct, 2020

基于预训练语言模型的词汇简化方法取得了显著进展，通过分析词语在其上下文环境中的替代词生成复杂词的潜在替代词。然而，这些方法需要针对不同语言进行单独的预训练模型，并且忽略了对句子意义的保留。本文提出了一种新颖的多语言词汇简化方法，通过生成释义来提供词语选择的多样性，同时保持句子的意义。我们将释义任务视为支持数百种语言的多语言神经机器翻译中的零 - shot 翻译任务。在释义建模的编码器中输入句子后，我们基于一种集中于复杂词的词汇变体的新颖解码策略生成替代词。实验结果表明，我们的方法在英语、西班牙语和葡萄牙语上明显优于基于 BERT 的方法和零 - shot GPT3 方法。

Jul, 2023