GrammarGPT: 使用监督微调探索开源 LLMs 用于中文母语者语法错误修正
通过评估四个已建立的语法错误纠正基准数据集上的七个开源模型和三个商业模型,我们发现大规模语言模型(LLMs)在特定环境下超过监督式英语语法错误纠正模型,并且零次提示在某些情形下与少次提示具有相同竞争力。
Jan, 2024
对 ChatGPT 进行中文文本纠错的评估,发现 ChatGPT 在中文文本纠错中表现出令人惊讶的性能,但也存在一些不令人满意的问题。
Jul, 2023
LawGPT 是第一个专门为中国法律应用设计的开源模型,通过在大规模中国法律文件上进行法律导向的预训练和法律指导下的精细调优,LawGPT 在下游法律任务的表现优于开源模型 LLaMA 7B。
Jun, 2024
本文研究了在多种语言环境下,使用 GPT-3.5 进行语法错误纠正(GEC)的应用,包括零样本 GEC,针对 GEC 的微调,以及使用 GPT-3.5 对其他 GEC 模型生成的纠正假设进行重新排序。
May, 2024
大规模语言模型在中文语法错误纠正任务中的表现及其问题的调查报告。研究发现大语言模型在自动评估指标方面表现不如之前的模型,并存在过度纠正的问题。此外,不同数据分布下大语言模型的表现也存在明显差异。这些发现表明需要进一步研究大语言模型在中文语法错误纠正任务上的应用。
Jul, 2023
通过使用两步式流程,我们提出了一个用于语法错误解释的系统,该系统可以对每个语法错误提供一句解释,并通过分析 GPT-4 在语法错误解释方面的能力,提高了错误解释的准确性。我们的研究还评估了使用我们的系统处理德语和中文语法错误纠正数据的效果,并得出结论该系统可以高效地生成正确的解释,为德语和中文的学习者提供帮助。最后,我们决定开源我们的数据和代码,以鼓励该领域的进一步研究。
Nov, 2023
本文旨在探究 ChatGPT 在语法错误修复领域的潜力,通过设计零样本连贯性(CoT)和少样本 CoT 方案来进行评估,并通过在不同语言以及英语文件级别 GEC 测试集中的表现和人工评估来展示该模型的优秀的错误检测能力和非常流利的纠错结果。此外,作者强调其在低资源和多语言 GEC 任务中的潜力,但是需要进一步分析各种类型的跨句子错误,并展示 ChatGPT 对于某些类型的错误仍然存在一定的局限性。
Apr, 2023
近期,将大型语言模型 fine-tuned 后用于人类指令的研究表明在各种英语自然语言处理任务上取得了显著的能力,但在语法错误纠正任务中,特别是在非英语语言中的应用仍有待深入探索。本文研究了 fine-tuned 后的语言模型在阿拉伯语语法错误纠正中的能力,该任务由于阿拉伯语的丰富形态而变得复杂。我们的研究结果表明,各种提示方法与(上下文中的)少样本学习相结合,具有明显的效果,GPT-4 在专家提示下的 F extsubscript {1} 分数可达到 65.49(比我们建立的基线高出约 5 个点),这凸显了语言模型在低资源环境中的潜力,为模型训练生成有用的合成数据提供了可行的方法。尽管取得了这些积极的结果,我们发现无论大小如何,fine-tuned 后的模型在性能上显著低于大小显著较小的完全 fine-tuned 模型,这种差异突显了语言模型改进的重要空间。受低资源机器翻译方法的启发,我们还开发了一种利用合成数据的方法,该方法在两个标准阿拉伯语基准测试上显著优于先前的模型。我们的工作在阿拉伯语语法错误纠正领域取得了新的最佳结果,分别达到了 2014 和 2015 年 QALB 数据集的 72.19% 和 73.26 的 F$_{1}$ 值。
Aug, 2023
CourseGPT-zh 是一种面向课程的教育 LLM,支持定制化和低成本部署,并通过高质量的问答语料蒸馏框架和离散提示优化方法来提高响应质量,具有强大的专业能力。
May, 2024
本文提出了一种基于语言规则的方法来构建自动生成语法错误的大规模中文语法错误纠正训练语料库,并提出了一个挑战性的中文语法错误纠正基准,旨在解决当前缺乏高质量标注的训练语料库和测试集不是由中文母语人士制作的问题。实验结果表明,我们提出的训练数据构建方法有效地提高了中文语法错误纠正模型的性能,并且我们的基准是进一步发展中文语法错误纠正领域的绝佳资源。
Oct, 2022