Jul, 2021

LexSubCon：将词汇资源的知识融入上下文嵌入，用于词汇替换

PDF
TL;DRLexSubCon 是一种端到端的词汇替换框架，结合上下文嵌入模型与结构化词汇资源，在词汇替换任务中取得高精度替换候选词，并通过混合嵌入策略、文档定义相似度和微调的句子相似性模型计算每个替换对句子语义的影响，从而优于先前的最先进方法。
发现论文，激发创造
  • 基于去文本化嵌入的无监督词汇替换

    本文采用预训练语言模型提出一种新的无监督词汇替换方法，通过根据单词在多个上下文中的平均上下文表示相似性来检索替代词，实验表明该方法在英语和意大利语上表现明显优于强基线，并且能够成功预测低频替代词且不受形态和句法中的词汇一致性的影响。

    Sep, 2022

  • 基于神经语言模型的词汇替换方法比较研究

    本文基于大规模比较研究了常用的大规模神经语言和蒙面语言模型（LM 和 MLM），比如 Context2vec，ELMo，BERT，XLNet，在词汇替换任务中的应用。研究表明，如果目标词语的信息被适当地注入，则可以进一步提高 SOTA LM / MLM 已经具有的竞争结果，并比较几种目标注入方法。此外，提供不同模型生成的目标及其替代词之间语义关系类型的分析，从而深入探究生成或由注释员提供的替代词的种类。

    May, 2020

  • 始终牢记目标：研究语义并提高神经词汇替换的性能

    本文比较了多种词汇替换方法，使用包括 context2vec、ELMo、BERT、RoBERTa、XLNet 等在内的多种语言模型，并证明注入目标词信息后，能够进一步显著提高现有最佳语言模型的结果。作者还分析了不同模型或注释者给出的目标词和替代词之间的语义关系类型。

    Jun, 2022

  • ParaLS: 通过预训练的释义工具进行词汇替换

    本研究探究了如何利用重述生成器从众多的替换候选词中生成一个最优的替换候选词的问题， 提出了两种解码策略， 实验结果表明，这些策略能够在所作的基准测试中胜过基于预训练语言模型的现有的词汇替换方法。

    May, 2023

  • 基于代替的语义变化检测使用上下文嵌入

    使用上下文嵌入测量语义变化的简化方法，仅依赖于最可能替代被遮盖术语的方法，不仅这种方法可直接解释，而且在存储效率、性能及变化细致调查方面均表现优越。

    Sep, 2023

  • 通过上下文感知的词汇替换追溯文本来源

    本文提出了一种基于上下文感知词汇替换的自然语言水印方案，该方案使用 BERT 来推荐 LS 候选词，并基于同步性和可替换性设计选择策略，结果表明该水印方案能够很好地保留原始句子的语义完整性，并且具有更好的可转换性。

    Dec, 2021

  • 上下位关系预测的语境语义嵌入

    本文介绍了一种基于 Bert 语言模型的子类预测方法 BERTSubs，能够有效地执行包括存在限制在内的多种子类预测任务，具有优于已有方法的性能。

    Feb, 2022

  • UiO-UvA 在 SemEval-2020 任务 1 中：用于词汇语义变化检测的上下文嵌入

    该研究应用上下文化词嵌入到 SemEval-2020 Shared Task 1 的词汇语义变化检测中，着重于子任务 2，在两种上下文化体系结构（BERT 和 ELMo）和三种变化检测算法方面，分析了其性能。我们发现，最有效的算法依赖于平均令牌嵌入之间的余弦相似度和令牌嵌入之间的成对距离。他们比强基线模型高出很大的差距，但是有趣的是，选择特定算法取决于测试集中金标准分数的分布。

    Apr, 2020

  • 通过词语替换分析语义变化

    我们通过研究由词汇替换引入的意外上下文的影响，建模了语义变化，并提出了一种替换模式作为可解释的语义变化模型，同时还首次评估了使用 LLaMa 进行语义变化检测的方法。

    Apr, 2024

  • FASTSUBS: 基于 N-gram 语言模型寻找最可能的词汇替换的高效精确方法

    本论文介绍了一种基于 n-gram 语言模型的新搜索算法 FASTSUBS, 用于精确定位给定句子中最有可能的词汇替换，可应用于诸如文本简化、机器翻译和词性归纳等领域，算法计算复杂度在 K 和词汇表大小 V 方面具有亚线性的特点。

    May, 2012