使用类似于英文语料库的方法，创建了 ItaCoLA 语料库用于其他语言的自动文本可接受性分析和多语言转换器方法效果的评估。

Sep, 2021

通过 JCoLA 数据集，对 9 种不同类型的日语语言模型进行了句法知识评估，结果表明有些模型在领域内数据上能超越人类表现，但在领域外数据上无法超越人类表现，并且通过对语言现象的错误分析发现，神经语言模型在处理像参数结构这样的局部语法依赖时表现出色，但在面对像动词一致和 NPI 授权这样的长距离语法依赖时表现出衰退。

Sep, 2023

本文研究了人工神经网络在判断句子是否符合语法上的能力，介绍了语言可接受性语料库（CoLA）以及通过该库测试了神经网络模型在接受度分类任务上的性能，结果发现其表现超过了 Lau 等人的无监督模型，但在许多语法结构方面，所有测试的模型都远低于人类的水平。

May, 2018

我们介绍了首个多语言语言可接受性基准 MELA，并在 48K 个样本中涵盖了 10 种语言，从不同的语言家族中选择。我们分析了经过精调的 XLM-R 的权重，探索了语言之间的转移困难，结果显示 ChatGPT 得益于上下文实例，但仍落后于精调的 XLM-R；而 GPT-4 在零 - shot 设置中与精调的 XLM-R 的性能相当。跨语言和多任务学习实验表明，在语言可接受度判断中，与语义任务不同，语言内的训练数据至关重要。我们还引入了冲突权重的概念，该概念可能是跨语言转移困难的潜在指标。

Nov, 2023

该研究介绍了由语言学出版物和生成模型构建的 Russian Corpus of Linguistic Acceptability (RuCoLA), 通过基线方法精细分析了接受度分类实验，表明在检测形态和语义错误方面，最广泛使用的语言模型仍然远远落后于人类。研究团队开放了 RuCoLA、实验代码和公共排行榜，以评估俄语语言模型的语言能力。

Oct, 2022

当前分析或生成混合代码句子的计算方法没有明确建模混合代码句子的 “自然性” 或 “可接受性”，但依赖于训练语料库来反映可接受的混合代码句子的分布。建模混合文本的可接受性可以帮助区分自然的混合文本，并实现质量控制的混合文本生成。为此，我们构建了 Cline 数据集，其中含有英语 - 印地语 (en-hi) 混合文本的人工可接受性判断。Cline 是其类别中最大的数据集，包含 16,642 个句子，其中包括两个来源的样本：合成混合文本和从在线社交媒体上收集的样本。我们的分析表明，用于过滤 / 筛选 / 比较混合文本语料库的流行混合代码指标（如 CMI、转换点数、突发度）与人工可接受性判断之间的相关性较低，凸显了我们数据集的必要性。使用 Cline 进行的实验证明，仅基于混合代码指标训练的简单多层感知机 (MLP) 模型被细调的预训练多语言大型语言模型 (MLLMs) 在具有挑战性的数据设置中表现更佳。具体而言，XLM-Roberta 和 Bernice 在不同配置中优于 IndicBERT。与 ChatGPT 的零和几个样本能力的比较表明，基于更大数据集进行细调的 MLLMs 优于 ChatGPT，在混合代码任务中提供了改进的空间。使用我们的模型检查点进行从英语 - 印地语到英语 - 特鲁古语的零样本转移可接受性判断，超过了随机基线，可以应用于其他混合语言对，并提供了进一步的研究方向。我们公开发布了我们的人工标注数据集、训练检查点、混合文本语料库和数据生成以及模型训练的代码。

May, 2024

本文介绍了两个用于对挪威语言模型进行语法性评估的数据集（NoCoLA_class 和 NoCoLA_zero），并展示了它们在不同类型的语言模型上的使用方法及对现有挪威语言模型的比较研究。

Jun, 2023

大规模语言模型在中文语法错误纠正任务中的表现及其问题的调查报告。研究发现大语言模型在自动评估指标方面表现不如之前的模型，并存在过度纠正的问题。此外，不同数据分布下大语言模型的表现也存在明显差异。这些发现表明需要进一步研究大语言模型在中文语法错误纠正任务上的应用。

Jul, 2023

提出构建多维度标注的大规模中文学习者语料库 - YACLC，以提高中国国际教育和中文自动语法纠错研究的效果。

Dec, 2021

这篇论文研究了大型语言模型（LLMs）中存在的跨语言的不一致性，并通过创新的评估方法和指标，综合评估了模型在语义、准确性和及时性方面的一致性，以提升对多语言能力和可解释性的理解和改进，为更强大和可靠的多语言模型的开发做出贡献。

Jul, 2024