Sep, 2023

JCoLA: 日语语言可接受性语料库

PDF
TL;DR通过 JCoLA 数据集，对 9 种不同类型的日语语言模型进行了句法知识评估，结果表明有些模型在领域内数据上能超越人类表现，但在领域外数据上无法超越人类表现，并且通过对语言现象的错误分析发现，神经语言模型在处理像参数结构这样的局部语法依赖时表现出色，但在面对像动词一致和 NPI 授权这样的长距离语法依赖时表现出衰退。
neural language modelssyntactic knowledgejcolalinguistic phenomenasyntactic dependencies
发现论文，激发创造
  • 神经网络可接受性判断

    本文研究了人工神经网络在判断句子是否符合语法上的能力，介绍了语言可接受性语料库（CoLA）以及通过该库测试了神经网络模型在接受度分类任务上的性能，结果发现其表现超过了 Lau 等人的无监督模型，但在许多语法结构方面，所有测试的模型都远低于人类的水平。

    May, 2018

  • 使用意大利 CoLA 语料库进行单 / 跨语言可接受性判断

    使用类似于英文语料库的方法，创建了 ItaCoLA 语料库用于其他语言的自动文本可接受性分析和多语言转换器方法效果的评估。

    Sep, 2021

  • 再探可接受判断

    在大语言模型背景下，作者介绍了第一份经外语母语人士验证的大规模汉语非英语可接受性数据集 CoLAC，并通过交互式 turing 测试展示 model 和人之间的性能差距，同时也证明了可接受性知识可以跨越不同语言进行跨语言转移。

    May, 2023

  • 俄语语言可接受性语料库 (RuCoLA)

    该研究介绍了由语言学出版物和生成模型构建的 Russian Corpus of Linguistic Acceptability (RuCoLA), 通过基线方法精细分析了接受度分类实验，表明在检测形态和语义错误方面，最广泛使用的语言模型仍然远远落后于人类。研究团队开放了 RuCoLA、实验代码和公共排行榜，以评估俄语语言模型的语言能力。

    Oct, 2022

  • NoCoLA: 挪威语言可接受性语料库

    本文介绍了两个用于对挪威语言模型进行语法性评估的数据集（NoCoLA_class 和 NoCoLA_zero），并展示了它们在不同类型的语言模型上的使用方法及对现有挪威语言模型的比较研究。

    Jun, 2023

  • 从人类评判到预测模型：解析混合代码句子的可接受性

    当前分析或生成混合代码句子的计算方法没有明确建模混合代码句子的 “自然性” 或 “可接受性”，但依赖于训练语料库来反映可接受的混合代码句子的分布。建模混合文本的可接受性可以帮助区分自然的混合文本，并实现质量控制的混合文本生成。为此，我们构建了 Cline 数据集，其中含有英语 - 印地语 (en-hi) 混合文本的人工可接受性判断。Cline 是其类别中最大的数据集，包含 16,642 个句子，其中包括两个来源的样本：合成混合文本和从在线社交媒体上收集的样本。我们的分析表明，用于过滤 / 筛选 / 比较混合文本语料库的流行混合代码指标（如 CMI、转换点数、突发度）与人工可接受性判断之间的相关性较低，凸显了我们数据集的必要性。使用 Cline 进行的实验证明，仅基于混合代码指标训练的简单多层感知机 (MLP) 模型被细调的预训练多语言大型语言模型 (MLLMs) 在具有挑战性的数据设置中表现更佳。具体而言，XLM-Roberta 和 Bernice 在不同配置中优于 IndicBERT。与 ChatGPT 的零和几个样本能力的比较表明，基于更大数据集进行细调的 MLLMs 优于 ChatGPT，在混合代码任务中提供了改进的空间。使用我们的模型检查点进行从英语 - 印地语到英语 - 特鲁古语的零样本转移可接受性判断，超过了随机基线，可以应用于其他混合语言对，并提供了进一步的研究方向。我们公开发布了我们的人工标注数据集、训练检查点、混合文本语料库和数据生成以及模型训练的代码。

    May, 2024

  • 跨语言句法评估词预测模型

    通过多语言的句法评估套件 CLAMS，调查神经词语预测模型在各种语言中学习语法的能力，结果表明单语 LSTMs 在句子成分及吸引子存在时达到了很高的精度，而在其他方面的一致性准确率较低，多语言模型通常表现不如单语模型。

    May, 2020

  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018

  • 语言模型接受度判断对上下文敏感性不强

    本文研究了语言模型对有不同语境且违反语法规则的句子的语法判断能力的鲁棒性，结果发现模型判断能力在线性语境下稳定，在和测试内容有相同句法结构的语境中不稳定，此外，文章还探究了模型训练时语境对语法判断的影响，并指出模型在不同语境下的表现是由其隐含的学习能力决定的。

    Dec, 2022

  • MCoNaLa: 多语言编码生成的基准测试

    本论文提出了多语言数据集 MCoNaLa，评估了基于自然语言指令的代码生成在英语以外的三种语言（西班牙语、日语和俄语）上的表现和挑战。

    Mar, 2022