Jul, 2024

一种评估类型多样化语言的原则性框架

HTML
PDF
TL;DR提出了一种基于语言类型学的语言抽样框架，用于选择高度类型多样的语言。通过与一系列度量方法的比较，发现我们的系统方法在检索多样性语言选择方面比以前的方法在自然语言处理中表现更为一致，同时为多语言模型评估提供证据，强调在自然语言处理中多样性语言抽样的重要性。
发现论文，激发创造
  • 对数百种语言进行句法规律分类

    本文介绍了用于扩展语言资源的分类方法，比较了WALS的六个句法规则在325种语言中的分类效果。我们发现在使用propagating大多数标签的方法中，结合形态学和语言特征的逻辑回归模型的分类效果最好。

    Mar, 2016

  • 自然语言处理中类型学信息使用调查

    本文系统地调查了现有的语言类型学资源及其在自然语言处理中的应用，旨在促进该领域未来的研究和发展。

    Oct, 2016

  • 所有语言的语言模型难度是否相同？

    本文使用翻译文本开发了一种公平的跨语言语言模型比较方法，在21种语言中展示了复杂的屈折形态是导致不同语言性能差异的原因。

    Jun, 2018

  • 语言变异和语言规律的建模：关于自然语言处理中的语言类型学调查

    对语言类型学在自然语言处理中的应用进行了调研，发现目前的语言类型数据库在系统性能提升方面存在局限性，现提出将语言的类型类别与现代自然语言处理中的机器学习算法相融合的新方法。

    Jul, 2018

  • 评估基于Transformer的多语言文本分类

    研究探讨了NLP工具在不同语言的应用情况以及针对语言结构差异进行的分析，指出哪些变量最影响语言建模的效果，通过计算词序和形态相似性指数等方法进行实证研究，最后通过多分类文本分类实验验证了研究结论。

    Apr, 2020

  • 你的分词器有多好？多语言语言模型在单语言性能上的表现

    通过在九种语言和五种单语言任务的实验中对比预训练的多语言和单语言模型的表现来研究它们之间的差异，结果表明预训练数据规模和专门的单语言分词器对于下游性能同样重要，而对于具有多语言模型词汇表适当表示的语言的性能下降可以忽略不计。使用专门的单语言分词器可以提高几乎每个任务和语言的多语言模型的下游性能。

    Dec, 2020

  • 通用且独立：多语言探测框架用于全面模型解释和评估

    本文提出并应用一种GUI辅助框架，使我们能够轻松地探寻普遍依赖数据中所有形态句法特征所出现的大量语言。我们发现，反映了过去几年自然语言处理的西方中心趋势，mBERT模型中揭示的大多数规律对于西欧语言而言是典型的。因此，我们提出了一个工具包，以系统化解决多语种模型中存在的缺陷，为104种语言和80种形态句法特征提供可重复的实验设置。

    Oct, 2022

  • 自然语言处理中的'类型多样性'是什么？

    本研究系统地调查了涉及“类型多样性”的自然语言处理研究，发现并无固定的定义或标准。我们引入了几种度量标准来近似衡量语言选择的多样性，发现结果在各篇论文中差异很大。此外，我们证明了偏斜的语言选择可能导致对多语言性能的高估。我们建议未来的研究应当在“类型多样性”方面提供清晰的操作定义，以从经验证据上证明语言样本的多样性。

    Feb, 2024

  • 透明比较多语言自然语言处理数据集中的语言多样性的一种度量

    提出了一种评估数据集语言多样性的方法，通过比较语言特征集合的Jaccard指数来分析，发现大部分流行的多语种数据集中缺乏多种语言类型，特别是(poly)synthetic languages。

    Mar, 2024

  • 面向系统的单语NLP调查：希腊NLP的GenA

    通过应用提出的方法，本文使用系统文献综述对希腊的自然语言处理进行了全面的概述，展示了独语NLP调查的优势，并突出了独语NLP调查的方法能够避免数据泄漏和污染等常见问题。

    Jul, 2024