基于有机数据驱动的土耳其语语法错误修正与 LLMs
为了克服对大多数语言缺乏大量平行标注数据的问题,本研究介绍了一种灵活可扩展的合成数据生成流程,应用于土耳其语。通过复杂的转换函数,实现了 20 多个专业编辑语法和拼写规则的生成,从而得到了 13 万句高质量平行句子。使用神经机器翻译、序列标注和前缀调参等三种基线模型,取得了良好的结果,并对领域外数据集进行了详尽实验,获得有关所提方法的可迁移性和鲁棒性的深入见解。通过发布数据集、基线模型和合成数据生成流程,我们鼓励进一步研究土耳其语错误检测和纠正。
Sep, 2023
本文研究如何通过有限的人工标注数据,使用基于注意力机制的序列到序列模型及简单的后处理程序、进行人工数据合成,以提高文本纠错的准确率。实验结果表明,我们的方法可生成质量较高的人工数据集,有效地提高了基于双向 LSTM 的文本纠错方法的性能水平。
Sep, 2018
提出两种数据合成方法来解决语法错误纠正任务中缺乏平行数据的问题,并对不同数据进行实验,结果表明错误率为 40%,错误类型的比例相同可以更好地提高模型性能。最终,合成约 1 亿数据,实现了与使用两倍数据的最新技术相当的性能。
Sep, 2019
本研究使用自动注释工具 ERRANT 的错误类型标签指导合成数据生成,并比较了多种模型以研究如何基于错误类型标签从正确的句子生成不合语法的句子。在此基础上,构建一个规模较大的合成数据集,其错误标签的频率分布与给定开发集相匹配。该合成数据集具有较好的性能表现,可以显著提高 BEA-19 和 CoNLL14 测试集的性能,并且可以有效地适应 GEC 系统,特别是对于混合本地和非本地语言的英语人群,其效果优于由高质量句对组成的真实训练数据。
May, 2021
本研究通过使用辅助任务和优化训练顺序,针对神经语法错误校正的问题,提出了一种高效利用数据的方法,利用较小规模的基于 BART 模型(400M 参数)的结果优于基于 T5-XXL 模型(11B 参数)的最佳模型。
Nov, 2023
本研究探讨了两种替代方法:机器翻译和文本模式提取以解决短缺的数据对自动化错误检测的影响。实验表明:人工生成的错误明显提高了对 FCE 和 CoNLL 2014 数据集的错误检测精度。
Jul, 2017
本文研究数据质量控制(噪声注入和平衡数据)对基于真实数据和合成数据训练的语法纠错模型的影响,并比较了两种方法的效果,结果表明,与真实数据情况相同,数据质量控制方法对真实数据训练的模型有积极影响,而对合成数据训练的模型影响为负。
Jun, 2023
提出了一种新颖的数据合成方法,以生成多样的句子对,用于改善语法错误纠正,该方法基于两个不同质量(即较差和较好)的机器翻译模型对。实验结果表明,我们的方法是有效的,可以与其他合成数据源相结合,以产生进一步的改进。
Nov, 2019