本研究通过使用辅助任务和优化训练顺序，针对神经语法错误校正的问题，提出了一种高效利用数据的方法，利用较小规模的基于 BART 模型（400M 参数）的结果优于基于 T5-XXL 模型（11B 参数）的最佳模型。

Nov, 2023

从有限的平行语料中生成合成训练样本，即非流利目标端句子能够在多语种机器翻译框架中有效地提高翻译性能，并且这种方法对原始训练语料的规模不敏感，从而使系统更鲁棒、产生更少的幻觉。

Jan, 2024

本研究探讨了如何在训练过程中利用句法信息来提高预训练模型 BERT 在自然语言推理上的表现，经过尝试，通过主语 / 宾语倒装能将模型在控制的测试中的准确率从 0.28 提升至 0.73，而对 MNLI 测试集影响不大，表明数据增强能帮助 BERT 招募抽象的句法表示从而提升模型的表现。

Apr, 2020

在这篇论文中，我们使用先前学习的动态句法语法和 CHILDES 语料库开发、训练和评估了一个概率模型，该模型用于增量生成，其中模型的输入是纯语义生成目标概念（TTR）。我们证明了该模型的输出与黄金候选项的准确匹配率为 78％，ROUGE-l 评分为 0.86。我们进一步对同一模型在生成目标在发话过程中发生变化时产生自我修复的能力进行了零次评估。自动评估显示模型能够在 85％的情况下正确生成自我修复。小规模的人工评估确认了生成的自我修复的自然性和语法性。总体而言，这些结果进一步突显了基于语法的模型的泛化能力，并为更可控和自然交互的对话型人工智能系统奠定了基础。

Aug, 2023

本论文介绍一种使用神经符号方法验证英语句子的简化方式，其结合了现代 AI 技术，如语言模型，以解决文本摘要、问答和机器翻译等自然语言处理挑战。

Jul, 2023

该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

Aug, 2018

本文介绍了一种用于纠正语法错误的低资源序列到序列任务方法，首先使用现实的噪声函数生成大型未注释语料库的错误版本，然后利用这些并行语料库进行 Transformer 模型的预训练，并通过顺序迁移学习将这些模型适应于测试集的领域和风格。同时结合上下文感知的神经拼写检查器，我们的系统在 ACL 2019 BEA 共享任务中取得了竞争力的结果。我们公开代码与材料以便复现。

Jul, 2019

本文研究如何通过有限的人工标注数据，使用基于注意力机制的序列到序列模型及简单的后处理程序、进行人工数据合成，以提高文本纠错的准确率。实验结果表明，我们的方法可生成质量较高的人工数据集，有效地提高了基于双向 LSTM 的文本纠错方法的性能水平。

Sep, 2018

介绍了几个基于 SNLI 或 FEVER 自然蕴涵示例的合成转换的数据集，用以教授语法和单词顺序等方面的知识；证明了多数流行的蕴涵模型没有意识到这些句法上的区别可改变含义，而强化训练后部分模型能够学习正确比较句法。

Oct, 2018

为了解决训练混合语言模型的困难，本研究提出了一种基于序列 - 序列模型及 copy 机制的新型训练方法，通过有限的混合语言数据和单语数据的并行翻译生成需要的混合语言数据，且无需对齐或分析，实现了良好的表现，并显著提高了末端自动语音识别。

Sep, 2019