Aug, 2022

上下文化语言模型用于语义变化检测：经验教训

PDF
TL;DR本文研究使用基于上下文嵌入方法进行检测历时语义变化的可能存在的输出错误。通过引入单一方法并进行深入的分析，作者发现这种方法可能会将词汇的词典含义变化与上下文语境的变化混淆，同时将词汇实体的句法和语义方面合并在一起。本文提出了一些解决这些问题的未来可能方案。
contextualized embedding-based methodsdiachronic semantic changeensemble methodsemantic change predictedpre-trained contextualized language models
发现论文，激发创造
  • 基于代替的语义变化检测使用上下文嵌入

    使用上下文嵌入测量语义变化的简化方法，仅依赖于最可能替代被遮盖术语的方法，不仅这种方法可直接解释，而且在存储效率、性能及变化细致调查方面均表现优越。

    Sep, 2023

  • 利用语境嵌入检测历时语义转移

    本文提出了一种新的方法，通过从 BERT 嵌入生成特定时间的单词表示来利用上下文嵌入进行历时语义变化检测。我们的实验结果表明，该方法在特定领域的 LiverpoolFC 语料库中具有与当前最先进技术相当的性能，无需在大型语料库上进行任何耗时的领域自适应。我们的结果表明该方法可以成功地用于检测短期年度语义漂移，并在多语言环境中展示了有前途的结果。

    Dec, 2019

  • UiO-UvA 在 SemEval-2020 任务 1 中：用于词汇语义变化检测的上下文嵌入

    该研究应用上下文化词嵌入到 SemEval-2020 Shared Task 1 的词汇语义变化检测中，着重于子任务 2，在两种上下文化体系结构（BERT 和 ELMo）和三种变化检测算法方面，分析了其性能。我们发现，最有效的算法依赖于平均令牌嵌入之间的余弦相似度和令牌嵌入之间的成对距离。他们比强基线模型高出很大的差距，但是有趣的是，选择特定算法取决于测试集中金标准分数的分布。

    Apr, 2020

  • 历时词向量和语义漂移：一项调查

    本文综述了当前关于使用预测型词嵌入模型追踪词汇语义时序变化和语义漂移检测的学术研究现状，并讨论了该领域的挑战和应用前景。

    Jun, 2018

  • 使用上下文化的单词表示来分析词汇语义的变化

    本文提出了第一种使用上下文词表示进行无监督词汇语义变化的方法。利用 BERT 神经语言模型来获取单词用法的表示，将这些表示聚类到用法类型，并用三种提出的度量方式衡量关于时间的变化。创造了一个新的评估数据集，并表明模型表示和检测到的语义转移与人类判断之间呈正相关。 extensive 的定性分析表明，我们的方法捕捉了各种同步和历时语言现象。我们期望我们的工作将激发进一步的研究。

    Apr, 2020

  • 上下文中的迷失？关于上下文化词向量的意义差异

    揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。

    Aug, 2022

  • 词汇语义变化的上下文化词嵌入系统比较

    现有的 LSC 问题评估通常集中在 Graded Change Detection (GCD) 任务上，但由于它们依赖不同的设置，性能比较往往会误导。本研究在相同的条件下评估了最先进的 GCD 模型和方法，并将 LSC 问题分解为 Word-in-Context (WiC) 和 Word Sense Induction (WSI) 任务，在不同语言上对八个可用的 LSC 基准进行了比较，表明 (i) APD 在 GCD 方面优于其他方法；(ii) XL-LEXEME 在 WiC、WSI 和 GCD 方面优于其他上下文化模型，与 GPT-4 相当；(iii) 需要明确改进词义建模以及关注词义变化的方式、时间和原因，而不仅仅关注语义变化的程度。

    Feb, 2024

  • 通过词语替换分析语义变化

    我们通过研究由词汇替换引入的意外上下文的影响，建模了语义变化，并提出了一种替换模式作为可解释的语义变化模型，同时还首次评估了使用 LLaMa 进行语义变化检测的方法。

    Apr, 2024

  • 命名实体识别中的上下文嵌入：一项关于泛化的实证研究

    本文通过经验分析，将提到的未知名称根据新奇性和域外评估进行分离，并证明了最新情境嵌入模型在发现前所未见的名称方面特别有益，尤其是在域外评估中。

    Jan, 2020

  • 基于去文本化嵌入的无监督词汇替换

    本文采用预训练语言模型提出一种新的无监督词汇替换方法，通过根据单词在多个上下文中的平均上下文表示相似性来检索替代词，实验表明该方法在英语和意大利语上表现明显优于强基线，并且能够成功预测低频替代词且不受形态和句法中的词汇一致性的影响。

    Sep, 2022