ACLApr, 2020

使用上下文化的单词表示来分析词汇语义的变化

PDF
TL;DR本文提出了第一种使用上下文词表示进行无监督词汇语义变化的方法。利用 BERT 神经语言模型来获取单词用法的表示，将这些表示聚类到用法类型，并用三种提出的度量方式衡量关于时间的变化。创造了一个新的评估数据集，并表明模型表示和检测到的语义转移与人类判断之间呈正相关。 extensive 的定性分析表明，我们的方法捕捉了各种同步和历时语言现象。我们期望我们的工作将激发进一步的研究。
发现论文，激发创造
  • UiO-UvA 在 SemEval-2020 任务 1 中：用于词汇语义变化检测的上下文嵌入

    该研究应用上下文化词嵌入到 SemEval-2020 Shared Task 1 的词汇语义变化检测中，着重于子任务 2，在两种上下文化体系结构（BERT 和 ELMo）和三种变化检测算法方面，分析了其性能。我们发现，最有效的算法依赖于平均令牌嵌入之间的余弦相似度和令牌嵌入之间的成对距离。他们比强基线模型高出很大的差距，但是有趣的是，选择特定算法取决于测试集中金标准分数的分布。

    Apr, 2020

  • 通过定义生成可解释的词义表示：以语义变化分析为例

    利用自动生成的自然语言定义，将上下文单词用法作为可解释的词和词义表示。使用 Flan-T5 语言模型生成每个用法的定义，从用法簇中选择最典型的定义作为词义标签，可在语义变化分析中进行应用。此外，上下文定义在 NLP 中的单词语境语义相似性判断中优于令牌或用法句子嵌入，是一种新的有前途的词汇表示类型。

    May, 2023

  • 上下文化语言模型用于语义变化检测：经验教训

    本文研究使用基于上下文嵌入方法进行检测历时语义变化的可能存在的输出错误。通过引入单一方法并进行深入的分析，作者发现这种方法可能会将词汇的词典含义变化与上下文语境的变化混淆，同时将词汇实体的句法和语义方面合并在一起。本文提出了一些解决这些问题的未来可能方案。

    Aug, 2022

  • 利用语境嵌入检测历时语义转移

    本文提出了一种新的方法，通过从 BERT 嵌入生成特定时间的单词表示来利用上下文嵌入进行历时语义变化检测。我们的实验结果表明，该方法在特定领域的 LiverpoolFC 语料库中具有与当前最先进技术相当的性能，无需在大型语料库上进行任何耗时的领域自适应。我们的结果表明该方法可以成功地用于检测短期年度语义漂移，并在多语言环境中展示了有前途的结果。

    Dec, 2019

  • 通过词语替换分析语义变化

    我们通过研究由词汇替换引入的意外上下文的影响，建模了语义变化，并提出了一种替换模式作为可解释的语义变化模型，同时还首次评估了使用 LLaMa 进行语义变化检测的方法。

    Apr, 2024

  • 在词使用中捕获进化：只需增加更多聚类吗？

    本文旨在研究语义演变在文本数据中的检测与分析方法，特别是基于上下文嵌入的新方法，通过对比多个方法的表现以及提出相关改进策略，显著提高了现有方法的性能。

    Jan, 2020

  • 基于代替的语义变化检测使用上下文嵌入

    使用上下文嵌入测量语义变化的简化方法，仅依赖于最可能替代被遮盖术语的方法，不仅这种方法可直接解释，而且在存储效率、性能及变化细致调查方面均表现优越。

    Sep, 2023

  • UWB 在 SemEval-2020 任务 1 中的词汇语义变化检测

    本文介绍我们在 SemEval2020 任务 1 中创造性的提出了语义变化检测方法，该方法是全自动的，不需要人工干预，且独立于语言；我们利用标准相关分析和正交变换计算语义空间之间的线性变换，并通过比较早期和晚期语料库中目标单词的向量之间的余弦相似度来检测语义变化。

    Nov, 2020

  • 基于嵌入的无监督词汇语义变化检测

    本研究介绍了称为 EmbLexChange 的系统，用于无监督检测词汇 - 语义变化的过程，并展示了该系统在使用重采样框架的情况下可靠地检测英语、德语、瑞典语和拉丁语的词汇 - 语义变化。

    May, 2020

  • 词汇语义变化探测

    本文提出从变化检测到变化发现的新方向，重点在于发现全文词汇中的新单词含义变化。通过对最近发表的德语数据进行深度调整，研究人员证明了两种模型都可以成功地应用于发现正在经历含义变化的新单词。此外，还提供一个几乎全自动化的框架用于评估和发现。

    Jun, 2021