Jul, 2018

语言变异和语言规律的建模：关于自然语言处理中的语言类型学调查

PDF
TL;DR对语言类型学在自然语言处理中的应用进行了调研，发现目前的语言类型数据库在系统性能提升方面存在局限性，现提出将语言的类型类别与现代自然语言处理中的机器学习算法相融合的新方法。
linguistic typologynatural language processingtypological databasessystem performancemachine learning algorithms
发现论文，激发创造
  • 自然语言处理中类型学信息使用调查

    本文系统地调查了现有的语言类型学资源及其在自然语言处理中的应用，旨在促进该领域未来的研究和发展。

    Oct, 2016

  • 自然语言处理中的 ' 类型多样性 ' 是什么？

    本研究系统地调查了涉及 “类型多样性” 的自然语言处理研究，发现并无固定的定义或标准。我们引入了几种度量标准来近似衡量语言选择的多样性，发现结果在各篇论文中差异很大。此外，我们证明了偏斜的语言选择可能导致对多语言性能的高估。我们建议未来的研究应当在 “类型多样性” 方面提供清晰的操作定义，以从经验证据上证明语言样本的多样性。

    Feb, 2024

  • 自然语言处理中语言类型数据库的过去、现在和未来

    在发展自然语言处理模型中，特质信息对于低资源语言尤为重要，目前存在的大规模特质数据库在彼此之间和与其他特质信息源（如语言语法）之间存在不一致性，我们通过系统地研究不同特质数据库和资源的不一致性及其在自然语言处理中的用途，旨在为解决这个问题提供启示，同时提出连续视角的特质特征具有重要的潜力，建议从语言学的角度加以推广，认为在低资源语境下的语言建模中，这种特质视角具有重要的应用前景。

    Oct, 2023

  • 为类型预测学习语言表示

    利用 1017 种语言构建一个神经机器翻译系统，预测存在于语分类数据库中缺失的语言特征，实验表明该方法不仅能推测句法特征，还能推测音位、音库特征。

    Jul, 2017

  • 评估基于 Transformer 的多语言文本分类

    研究探讨了 NLP 工具在不同语言的应用情况以及针对语言结构差异进行的分析，指出哪些变量最影响语言建模的效果，通过计算词序和形态相似性指数等方法进行实证研究，最后通过多分类文本分类实验验证了研究结论。

    Apr, 2020

  • 从音韵学到句法：利用语言嵌入进行不同层次的无监督语言类型学研究

    我们学习了分布式语言表述的方法，可以用来预测语言在不同类型水平和 NLP 模型中的相似性，进而预测 WALS 中的语言类型特征。

    Feb, 2018

  • 某一语言方言的自然语言处理：一项调查

    该论文调查了自然语言处理中方言的重要性，描述了不同方言数据集和方法，对方言的研究超过了仅仅方言分类的工作，对构建具有公平性的语言技术有重要意义。

    Jan, 2024

  • 使用类型学属性增强自然语言处理模型的跨语言行为测试

    本文提出了 M2C，这是一种对自然语言处理模型进行语言特征行为测试的框架，并评估了 12 种类型不同的语言在不同特征测试下的表现，结果发现 NLP 模型在英语上的表现较好，但在斯瓦希里语等语言的某些特殊语言特征测试上表现不佳，这启示我们需要发展解决这些缺陷的模型。

    Jul, 2023

  • 将语言类型学纳入神经依存句法分析中的挑战

    本研究探讨了在跨语言依赖分析的背景下，如何利用类型学来提高性能，而我们的主要发现是将语言聚合成句法同质性群组有助于性能，而将类型维度进行组合式学习的效果并不显著。同时，考虑到所选择语料库的列统计学与类型学相一致时，性能表现也将更为出色。

    Sep, 2019

  • 语言嵌入有时包含类型学概括

    在 1295 种语言的大规模多语言数据集中训练神经网络模型，以研究神经模型对于语言结构所能学习到的广义化程度，发现神经网络模型在语言结构的广义化方面的表现并不好，并会存在误报，但有些表现仍然与语言学中的传统特征非常接近，为了鼓励在这个领域的持续研究，我们发布了多个资源，包括语言表示的多重集合、多语言单词嵌入、映射和预测的语法和形态特征以及提供语言表征的具有语言学意义的评估软件。

    Jan, 2023