本文基于大规模比较研究了常用的大规模神经语言和蒙面语言模型（LM 和 MLM），比如 Context2vec，ELMo，BERT，XLNet，在词汇替换任务中的应用。研究表明，如果目标词语的信息被适当地注入，则可以进一步提高 SOTA LM / MLM 已经具有的竞争结果，并比较几种目标注入方法。此外，提供不同模型生成的目标及其替代词之间语义关系类型的分析，从而深入探究生成或由注释员提供的替代词的种类。

May, 2020

本文采用预训练语言模型提出一种新的无监督词汇替换方法，通过根据单词在多个上下文中的平均上下文表示相似性来检索替代词，实验表明该方法在英语和意大利语上表现明显优于强基线，并且能够成功预测低频替代词且不受形态和句法中的词汇一致性的影响。

Sep, 2022

LexSubCon 是一种端到端的词汇替换框架，结合上下文嵌入模型与结构化词汇资源，在词汇替换任务中取得高精度替换候选词，并通过混合嵌入策略、文档定义相似度和微调的句子相似性模型计算每个替换对句子语义的影响，从而优于先前的最先进方法。

Jul, 2021

本研究探究了如何利用重述生成器从众多的替换候选词中生成一个最优的替换候选词的问题， 提出了两种解码策略， 实验结果表明，这些策略能够在所作的基准测试中胜过基于预训练语言模型的现有的词汇替换方法。

May, 2023

通过 PropLex 基准和模型，我们提出了一项新的任务，即面向语言熟练度的词汇替换，并展示了使用特定任务合成数据对 Llama2-13B 模型进行微调的最佳模型，在 F-score 上超过 ChatGPT 平均 3.2％，并在 ProLex 上获得与 GPT-4 相当的结果。

Jan, 2024

本文比较了多种词汇替换方法，使用包括 context2vec、ELMo、BERT、RoBERTa、XLNet 等在内的多种语言模型，并证明注入目标词信息后，能够进一步显著提高现有最佳语言模型的结果。作者还分析了不同模型或注释者给出的目标词和替代词之间的语义关系类型。

Jun, 2022

本文提出一种基于分类方法的新型词汇替换基准测试数据集，与现有基准测试相比，该数据集具有更高的数据质量和更广的数据覆盖率，其替换词以人类判断的可行性和上下文适宜度为导向，相比已有基准测试，其能够为同一任务提供更多、更合适的替换词。

Jun, 2021

自动将难以阅读的词替换为更易理解的替代词，以改善文本可访问性；通过创建多任务的 LS 数据集，MultiLS 框架和 MultiLS-PT 数据集的潜力得到展示，并报告了基于转换器和大型语言模型的模型性能。

Feb, 2024

我们提出了一种基于无监督学习的词汇简化方法，仅使用单语数据和预训练语言模型。根据目标词和其上下文，我们的方法基于目标上下文和从单语数据中抽样的附加上下文生成替代词。我们在 TSAR-2022 共享任务的英语、葡萄牙语和西班牙语上进行实验，并表明我们的模型在所有语言上都显著优于其他无监督系统。我们还通过与 GPT-3.5 模型组合，建立了一个新的最先进模型。最后，我们在 SWORDS 词汇替换数据集上评估我们的模型，获得了最先进的结果。

Nov, 2023

该研究提出了一种基于生成旧新义词的词汇替代方案，它在探测语义变化中实现了第二佳的结果，并且通过观察仅出现在一个时间段的替代词可以理解哪些义项被获得或丢失，从而为用户提供了更详细的信息并使方法具有可解释性。

Jun, 2022