ACLJun, 2019

什么样的语言难以进行语言建模？

PDF
TL;DR使用一个多语言圣经语料库，通过引入新的配对样本混合效应模型，扩展先前工作以涵盖 13 种语系的 69 种语言，并试图回答困难语言的共同特征问题，结果发现语言的翻译版与本地写作语言一样难以建模。
nlplanguage modelingmultilingual corpusmorphological complexitystatistics
发现论文，激发创造
  • 所有语言的语言模型难度是否相同？

    本文使用翻译文本开发了一种公平的跨语言语言模型比较方法，在 21 种语言中展示了复杂的屈折形态是导致不同语言性能差异的原因。

    Jun, 2018

  • 形态学很重要：多语言语言建模分析

    本文通过对 145 个语言的 92 个圣经翻译及其更多的分类特征的分析，探讨了语言的屈折变化是否使得多语言语言建模更加困难，发现基于神经网络的语言建模方法可以通过采用 FST 等分词策略来进一步降低语言构型的影响。

    Dec, 2020

  • 多语言模型中的语言表示研究

    通过研究多语言模型的语言学表示，我们发现针对低资源语言，以某个语言家族或地理位置为重点且由这些语言使用者构建的社区中心模型在区分同一语言家族的语言方面表现更好，有助于理解多语言模型的问题并提供改进方法。

    Oct, 2023

  • 多语种模型用于 200 多种高低资源语言的研究

    添加多语言数据可以提高低资源语言模型的性能，但对于高资源语言而言，添加多语言数据可能会降低性能。

    Nov, 2023

  • 评估基于 Transformer 的多语言文本分类

    研究探讨了 NLP 工具在不同语言的应用情况以及针对语言结构差异进行的分析，指出哪些变量最影响语言建模的效果，通过计算词序和形态相似性指数等方法进行实证研究，最后通过多分类文本分类实验验证了研究结论。

    Apr, 2020

  • 低资源形态变化的极限探究

    提出一种针对低资源语言的自动词形变化生成方案，在神经网络方法、注意力机制、跨语言转移学习等方面做了改进并实现了 15% 的性能提升。发现了语言类别相似和通用表示是跨语言转移学习成功的关键因素。

    Aug, 2019

  • 南非语言低资源语言建模

    本文通过研究对南非低资源语言的开放词汇语言模型的表现来评估不同变种的 N 元模型、前馈神经网络、循环神经网络和 Transformers 网络。这项研究有望为非洲语言的多语种和低资源语言建模开辟新的研究途径。

    Apr, 2021

  • 循环神经网络语言模型总是学习类似于英语的关系从句连接

    通过使用模糊性相对子句附加来扩展语言模型在多重同时有效解释的情况下的评估方法。我们比较了英语和西班牙语模型的表现，以展示 RNN LMs 中的非语言偏见优势重叠在英语而非西班牙语的句法结构上。因此，英语模型可能具有类似于人类的句法偏好，而在西班牙语上训练的模型无法获得类似的人类句法偏好。

    May, 2020

  • 多任务和多语言模型用于词法分析

    该论文旨在研究和探索使用任务和语言之间的相关性来构建需要较少手动注释数据的自然语言处理模型，通过研究 60 种语言的多种 NLP 任务，该论文表明了联合多任务和多语言建模的潜力，并暗示从这些模型中可以获得语言学洞见。

    Sep, 2018

  • 翻译自由语序格标语言的困难之处

    探究自由语序语言和固定语序语言在自然语言处理技术中的表现差异，针对神经机器翻译技术的困难，提出了使用语态标记来解决歧义问题，但在中低资源情况下，固定语序的语言仍然表现出了更好的整体机器翻译质量。

    Jul, 2021