EMNLPOct, 2022

俄语语言可接受性语料库 (RuCoLA)

PDF
TL;DR该研究介绍了由语言学出版物和生成模型构建的 Russian Corpus of Linguistic Acceptability (RuCoLA), 通过基线方法精细分析了接受度分类实验，表明在检测形态和语义错误方面，最广泛使用的语言模型仍然远远落后于人类。研究团队开放了 RuCoLA、实验代码和公共排行榜，以评估俄语语言模型的语言能力。
linguistic acceptabilityrussian corpuslanguage modelsdata collectionpublic leaderboard
发现论文，激发创造
  • 使用意大利 CoLA 语料库进行单 / 跨语言可接受性判断

    使用类似于英文语料库的方法，创建了 ItaCoLA 语料库用于其他语言的自动文本可接受性分析和多语言转换器方法效果的评估。

    Sep, 2021

  • JCoLA: 日语语言可接受性语料库

    通过 JCoLA 数据集，对 9 种不同类型的日语语言模型进行了句法知识评估，结果表明有些模型在领域内数据上能超越人类表现，但在领域外数据上无法超越人类表现，并且通过对语言现象的错误分析发现，神经语言模型在处理像参数结构这样的局部语法依赖时表现出色，但在面对像动词一致和 NPI 授权这样的长距离语法依赖时表现出衰退。

    Sep, 2023

  • 再探可接受判断

    在大语言模型背景下，作者介绍了第一份经外语母语人士验证的大规模汉语非英语可接受性数据集 CoLAC，并通过交互式 turing 测试展示 model 和人之间的性能差距，同时也证明了可接受性知识可以跨越不同语言进行跨语言转移。

    May, 2023

  • NoCoLA: 挪威语言可接受性语料库

    本文介绍了两个用于对挪威语言模型进行语法性评估的数据集（NoCoLA_class 和 NoCoLA_zero），并展示了它们在不同类型的语言模型上的使用方法及对现有挪威语言模型的比较研究。

    Jun, 2023

  • 神经网络可接受性判断

    本文研究了人工神经网络在判断句子是否符合语法上的能力，介绍了语言可接受性语料库（CoLA）以及通过该库测试了神经网络模型在接受度分类任务上的性能，结果发现其表现超过了 Lau 等人的无监督模型，但在许多语法结构方面，所有测试的模型都远低于人类的水平。

    May, 2018

  • MELA：多语言语言可接受性评估

    我们介绍了首个多语言语言可接受性基准 MELA，并在 48K 个样本中涵盖了 10 种语言，从不同的语言家族中选择。我们分析了经过精调的 XLM-R 的权重，探索了语言之间的转移困难，结果显示 ChatGPT 得益于上下文实例，但仍落后于精调的 XLM-R；而 GPT-4 在零 - shot 设置中与精调的 XLM-R 的性能相当。跨语言和多任务学习实验表明，在语言可接受度判断中，与语义任务不同，语言内的训练数据至关重要。我们还引入了冲突权重的概念，该概念可能是跨语言转移困难的潜在指标。

    Nov, 2023

  • RuCoCo：一个新的俄语语料库，带有指代标注

    我们提出了一个带有指代消解注释的新语料库，俄语指代消解语料库 (RuCoCo)。RuCoCo 旨在在保持高注释者一致性的同时获取大量标注的文本。我们的语料库包含了俄语的新闻文本，其中部分是从头开始注释的，而其余部分则是由机器生成的注释被人工注释精细化的。我们的语料库包含了一百万个单词和约 15 万个提及，现已公开发布。

    Jun, 2022

  • BERT 与 RuCoLA: 用拓扑数据分析解释

    本文研究如何应用拓扑数据分析在语言模型中识别和提取其对语言特征的表达，提出了基于拓扑数据分析的分类方法，并在 CoLA 和 RuCoLA 两个不同语言数据集上证明了该方法的优势。

    Apr, 2023

  • MCoNaLa: 多语言编码生成的基准测试

    本论文提出了多语言数据集 MCoNaLa，评估了基于自然语言指令的代码生成在英语以外的三种语言（西班牙语、日语和俄语）上的表现和挑战。

    Mar, 2022

  • CoRAL：一种上下文感知的克罗地亚辱骂语言数据集

    提出了一个支持语言和文化感知的 CoRAL 数据集，用于评论内容异常检测。实验表明，半自动化模型在处理隐晦和复杂的评论时效果下降，特别需要语言和语境知识。

    Nov, 2022