EMNLPAug, 2018

字符级别模型对形态学的学习如何？以依存解析为例

PDF
TL;DR对于具备丰富形态的语言，采用神经模型进行解析时，在字符级别建模具有优势，因为字符级别模型可以学习到形态学特征。通过在 12 种形态学类型不同的语言上进行实验，我们发现字符级别模型在某些情况下无法准确区分单词，特别是在面对形态学变体方面。然后，我们证明了明确定义形态学格的显式建模可以改善我们的最佳模型，表明字符级别模型可以从定向的显式形态学建模中获益。
发现论文，激发创造
  • 基于字级别和形态学的语义角色标注模型对比研究

    本文分析了使用字符、单词和形态水平信息的 SRL 模型和字符级模型的性能，研究表明字符级模型比单词和形态更适合处理未知数据并具有高层次的语义分析能力。

    May, 2018

  • 通过形态学提升字符语言建模能力

    本研究通过多任务学习将形态学监督引入字符语言模型，并发现即使形态学数据和语言建模数据不重叠，这种增加也可以提高 24 种语言的 BPC 性能。同时，研究表明有屈折词的性能获益更大，而形态学督导即使在语言建模数据增加的情况下也能提高性能。最后，我们通过跨语言转移形态学督导来提高低资源环境下的语言建模性能。

    Jun, 2019

  • 神经机器翻译模型学到了什么关于形态学？

    本文研究神经机器翻译的表示，探讨其对源语言和目标语言的理解以及对单词结构学习的影响，发现了一些关键参数对表示的影响

    Apr, 2017

  • 使用字符感知神经网络进行词级别预测：它们是否发现语言规则？

    本文研究字符级别模式识别神经网络所学习的规律以及相对于手动标注的词语分割的重叠性，并使用卷积神经网络和双向长短期记忆网络对三种不同的语言进行形态标记任务的评估和比较，证明这些模型可以隐式地发现可理解的语言规则。

    Aug, 2018

  • 跨语种字符级神经形态标注

    本文研究如何利用转移学习的方法，通过训练 character-level recurrent neural taggers 的方式，使得高资源语言和低资源语言都能够正确预测 morphological taggings，成功地实现了多语言间的知识迁移，有效提高了准确性达 30%。

    Aug, 2017

  • 字符级信息是否总是改善基于 DRS 的语义分析？

    研究探讨了采用字符级表示对神经模型性能的影响，通过对英语、德语、荷兰语和意大利语数据集的实验结果发现，字符级信息的引入并不能提高英语和德语语言的性能，但字符级信息可以提高荷兰语和意大利语的性能。

    Jun, 2023

  • 基于卷积神经网络的字符构成模型用于形态丰富语言的依存句法分析

    该研究提出了一种基于转移的依存句法分析器，使用卷积神经网络来从字符中组合单词表示。字符组合模型在解析结合语言方面表现出显著的改进，这些改进甚至比使用额外数据训练的预训练词嵌入模型更好。在 SPMRL 数据集上，与之前最好的贪心解析器相比，我们的系统平均提高了 3％的表现。

    May, 2017

  • 少量预训练大有裨益：针对低资源词形丰富语言的依存句法分析任务案例研究

    本研究针对资源匮乏的语言环境下，针对高度分析形态的自然语言（MRLs）的依赖句法分析任务，提出了预训练的简单辅助任务方法，实验结果表明，提出的方法使得在 10 种低资源语言环境下实验得到了稳定的提高

    Feb, 2021

  • 基于潜在内部词结构建模的字符级中文依存句法分析

    该论文提出了一种由词级依赖树转变为字级依赖解析的方法，通过模型化字内的潜在内部结构，在每个词级依赖树中解释为一棵以字级树为基础的森林，采用约束 Eisner 算法确保字级树的兼容性，确保了单一的字内结构根节点，并建立了这些根节点之间的词间依赖关系。对中文树库的实验表明，我们的方法在流水线框架和之前的联合模型上具有优越性。详细分析显示，粗到精的解析策略使模型能够预测出更具语言学可行性的字内结构。

    Jun, 2024

  • 预训练词向量、字符模型和词性标注在依存句法分析中的相互作用研究

    本文通过对预训练词向量、字符模型和 POS 标签在基于转移的依赖分析器中的相互作用进行综合分析，认为它们之间存在复杂的相互作用，并且在分别应用它们时，均较使用随机初始化的词向量的基线系统都有了大幅度的改进，但组合它们很快就会显得变得没有预期的好，特别是在具有丰富形态的低频开放类词汇和有歧义性的高频功能词之间，将它们灵活组合使用可以得到同样的结果，同时对于具有小字符集的语言，尤其是对于形态丰富的语言，大的字符嵌入大小也有助于提高依赖分析的品质

    Aug, 2018