Oct, 2020

使用语言嵌入和条件概率预测《WALS》中的类型学特征：ÚFAL 提交给 SIGTYP 2020 共享任务

PDF
TL;DR我们使用基于 WALS 数据库的受限系统来预测语言类型学特征，探究了两种方法：内在于语言的特征值的相关性的计算，和基于 WALS 特征的语言嵌入预测器的训练。我们提交的系统结合了这两种方法的自我估计的置信度得分，并在测试数据上达到了 70.7％的准确度，排名该共享任务的第一名。
发现论文，激发创造
  • SIGTYP 2020 共享任务：语言类型特征预测

    本篇论文介绍了如何通过预测语言的语言学特征来填充 typological knowledge bases。该任务吸引了 5 支团队的 8 个提交，在最强大的系统中，特征相关性得到了应用。然而，该研究的错误分析表明，即使在一些语言的特征不确定时，即使是最优秀的系统也难以准确地预测特征值。

    Oct, 2020

  • 从文本中推断语言类型学特征：推理《世界语言结构地图》的稀疏特征

    本文提出一种利用多语种文本预测 World Atlas of Language Structures（WALS）特征的方法，使用基于字节嵌入和卷积层构建的循环神经网络预测器，通过在 556 种语言上的测试表明一些各种语言类型的特征是可靠预测的

    Apr, 2020

  • 从音韵学到句法：利用语言嵌入进行不同层次的无监督语言类型学研究

    我们学习了分布式语言表述的方法，可以用来预测语言在不同类型水平和 NLP 模型中的相似性，进而预测 WALS 中的语言类型特征。

    Feb, 2018

  • NEMO: SIGTYP 2020 共享任务中基于约束的语言类型学特征预测的频率主义推断方法

    论文描述了 NEMO 如何使用 WALS 的数据来预测多种语言的语言类型学特征，通过频率推断来表示这些特征之间的相关性，并使用表示来训练简单的多类别估计器预测特定特征。该研究提交了两个基于岭回归的配置，并在这项任务中排名第二和第三。最佳配置在 149 个测试语言中实现了 0.66 的微平均精度得分。

    Oct, 2020

  • 语言嵌入：用于语言类型学和跨语言迁移学习

    本研究探究是否可以通过学习表示语言之间关系的语言表示来进行跨语言任务，而无需使用平行数据。使用去噪自编码器产生 29 种语言的密集嵌入，并在零样本情况下使用 WALS 和两个外部任务（跨语言依赖解析和跨语言自然语言推理）来评估嵌入。

    Jun, 2021

  • 对数百种语言进行句法规律分类

    本文介绍了用于扩展语言资源的分类方法，比较了 WALS 的六个句法规则在 325 种语言中的分类效果。我们发现在使用 propagating 大多数标签的方法中，结合形态学和语言特征的逻辑回归模型的分类效果最好。

    Mar, 2016

  • 多语种基于普遍依存关系的词序语法类型

    介绍了一种基于连续值数据而非分类数据的新种子数据集，可以更好地反映语言的变异性，以及用于生成更广泛特征和语言的数据的方法学。

    Feb, 2024

  • 语言嵌入有时包含类型学概括

    在 1295 种语言的大规模多语言数据集中训练神经网络模型，以研究神经模型对于语言结构所能学习到的广义化程度，发现神经网络模型在语言结构的广义化方面的表现并不好，并会存在误报，但有些表现仍然与语言学中的传统特征非常接近，为了鼓励在这个领域的持续研究，我们发布了多个资源，包括语言表示的多重集合、多语言单词嵌入、映射和预测的语法和形态特征以及提供语言表征的具有语言学意义的评估软件。

    Jan, 2023

  • 在 54 种语言中评估上下文嵌入在词性标注、词形还原和依存分析中的效果

    本文对三种最近提出的上下文嵌入方法进行了广泛评估，并在通用依赖关系 2.3 的 89 个语料库中的 54 种语言中，以词性标注，词形还原和依赖关系分析三个任务中使用 BERT，Flair 和 ELMo 作为预先训练的嵌入输入。

    Aug, 2019

  • 类型盲是否会阻碍跨语言共享？

    通过跨语言模型中学习潜在权重来实现按语言共享特征，并利用语言类型化信息来弥合高、低资源语言之间的性能差距。

    Jan, 2021