Apr, 2022

不要开除语言学家：语法分析有助于语言模型检测语义变化

PDF
TL;DR在这项研究中，我们探究了大型预先训练的上下文感知语言模型和语法特征分析在语义变化检测方面的异同。结果表明，将语法特征分析和语言模型相结合能够提高语义变化检测的性能，尤其是对于大部分数据集和语言而言。但对于一些跨度时间相差较长的测试集，语法特征分析检测效果较差，而语言模型则表现良好。
morphological changessyntactic changeslanguage modelsgrammatical profilessemantic change detection
发现论文，激发创造
  • 语法分析应用于语义变化检测

    本文探讨了词语语义变化检测方法的计算方式，介绍了一种基于形态句法行为变化的词汇语法分析方法（grammatical profiling），并证明其比某些基于分布式语义的方法（distributional semantic methods）更有效。

    Sep, 2021

  • 上下文化语言模型用于语义变化检测：经验教训

    本文研究使用基于上下文嵌入方法进行检测历时语义变化的可能存在的输出错误。通过引入单一方法并进行深入的分析，作者发现这种方法可能会将词汇的词典含义变化与上下文语境的变化混淆，同时将词汇实体的句法和语义方面合并在一起。本文提出了一些解决这些问题的未来可能方案。

    Aug, 2022

  • 基于大型语言模型的词汇语义变化检测评估

    引入大型语言模型（LLMs）进入词汇语义变化检测领域，提出了新的提示解决方案和全面评估，填补了研究领域中对 LLMs 应用的空白。

    Dec, 2023

  • 神经网络中的新兴语言结构是脆弱的

    本文提出了一种基于探测任务的神经网络模型的韧性度量方法，在通过语言模型中提取出的语言结构上评估了四种大型语言模型的一致性和鲁棒性，并发现神经网络的新兴句法表示具有脆弱性。

    Oct, 2022

  • 跨语言和语法下预训练模型的评估

    我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

    Sep, 2023

  • 神经语言模型中的语法推广的系统评估

    我们对神经语言模型的句法知识进行了系统评估，发现模型架构的不同对句法泛化性能产生了显著影响，而不同数据集大小的影响相对较低。

    May, 2020

  • 利用词汇语义变化提高预训练语言模型的时间泛化能力

    本论文提出了一种基于词汇层面 masking 的后训练策略，以此来解决大规模神经语言模型在时间通用性方面存在的问题，实验证明该方法在两个预训练语言模型、两种不同分类任务和四个基准数据集上效果优于现有的连续训练策略。

    Oct, 2022

  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018

  • 同一神经元，不同语言：探究多语言预训练模型中的形态语法

    该研究采用神经元级别探测器，在包括 43 种语言的 14 个形态句法类别上进行了大规模的实证研究，并发现了多语言预训练模型的跨语言重叠是显著的，但其范围可能因语言接近性和预培训数据的大小而异，支持其能够对语法进行语言通用的抽象。

    May, 2022

  • 语言学框架在神经符号语言建模中展开激烈较量

    本文探讨了语言图表示在理论上能否 complement 并提高神经语言建模的能力。通过集成一个预训练的 Transformer 和七种不同形式主义的 ground-truth 图，研究发现，总体而言，语义组成结构对于语言建模的性能最有用，超越了句法组成结构以及句法和语义依存关系结构。此外，这种效应在不同的词性类别中差异很大。总之，我们的研究结果为神经符号语言建模带来了有前途的倾向，并邀请未来研究 quantifying 不同形式主义所做的设计选择。

    Dec, 2021