Nov, 2023

大型语言模型中的语法错误解释

PDF
TL;DR通过使用两步式流程，我们提出了一个用于语法错误解释的系统，该系统可以对每个语法错误提供一句解释，并通过分析 GPT-4 在语法错误解释方面的能力，提高了错误解释的准确性。我们的研究还评估了使用我们的系统处理德语和中文语法错误纠正数据的效果，并得出结论该系统可以高效地生成正确的解释，为德语和中文的学习者提供帮助。最后，我们决定开源我们的数据和代码，以鼓励该领域的进一步研究。
grammatical error correctionnatural language explanationsgrammar error explanationgpt-4two-step pipeline
发现论文，激发创造
  • 人工智能协作生成自由文本解释的重新构架

    本文探讨利用人类书写的样例以几乎无监督的方式创作自由文本解释的任务，发现高质量的提示有助于提高语言模型的生成效果，同时人类研究表明 GPT-3 生成的解释在某些情况下能够胜过人工生成的解释；作者还结合 GPT-3 与学习自评价的筛选器对生成的解释进行过滤，结果表明这一方法能够实现较高水平的解释过滤。

    Dec, 2021

  • 对 GPT-3 在语法错误修正方面的性能分析

    本文通过实验分析 GPT-3 文本模型在语法纠错任务（GEC）上的性能，比较了不同提示方式下的表现，使用自动度量和人为评估的结合揭示了人类评估者与基于参考的自动度量之间的有趣差异。

    Mar, 2023

  • 利用解释增强语法错误修正系统

    通过引入带有证据词和语法错误类型的大型数据集 EXPECT 以及多个基线模型和分析，本文旨在提高解释性语法纠错系统，验证人类评估说明性语法纠错系统的解释可以帮助第二语言学习者确定是否接受校正建议，并了解相关的语法规则。

    May, 2023

  • 生成预训练大语言模型对孟加拉语语法错误的解释程度如何？

    使用生成式预训练模型评估孟加拉语语法错误纠正系统，并强调了提供错误解释和改进反馈质量的重要性。

    May, 2024

  • GrammarGPT: 使用监督微调探索开源 LLMs 用于中文母语者语法错误修正

    介绍了 GrammarGPT，一款开源的大型语言模型，通过使用混合数据集和引导方法，提高了中文语法纠错的性能，最终在 NLPCC2023 SharedTask1 中取得了第三名的成绩。

    Jul, 2023

  • Few-shot 提示在文本推理中解释的不可靠性

    本文研究了将 GPT-3 等大型语言模型与说明相结合是否能够提高上下文学习效果，发现对于涉及文本推理的自然语言推理和问答任务，使用不同样式的说明对 OPT、GPT-3（davinci）和 InstructGPT（text-davinci-001）等四个 LLM 的性能仅会带来小至中等的准确性提高，而 text-davinci-002 能够带来更实质性的提高，并且 LLM 产生的说明可能不支持、甚至与模型预测不一致，但这些说明仍有助于验证模型的预测，在此观察基础上，文章通过训练校准器使用自动提取的评分评估说明的可靠性，从而在全部数据集上实现后处理性能的提高。

    May, 2022

  • 用于英语学习者文本语法错误修正的开源和商业语言模型

    通过评估四个已建立的语法错误纠正基准数据集上的七个开源模型和三个商业模型，我们发现大规模语言模型（LLMs）在特定环境下超过监督式英语语法错误纠正模型，并且零次提示在某些情形下与少次提示具有相同竞争力。

    Jan, 2024

  • GPT-3.5 用于语法错误修正

    本文研究了在多种语言环境下，使用 GPT-3.5 进行语法错误纠正（GEC）的应用，包括零样本 GEC，针对 GEC 的微调，以及使用 GPT-3.5 对其他 GEC 模型生成的纠正假设进行重新排序。

    May, 2024

  • 大型语言模型是语法错误修正的最先进评估器

    研究发现大型语言模型（LLMs）在语法错误纠正（GEC）评估中表现优异，特别强调了流畅度作为评估标准的重要性。

    Mar, 2024

  • 带提示插入的控制生成用于语法错误修正中的自然语言解释

    本研究介绍了一种通过 Prompt 插入方法实现了大型语言模型对语法错误纠正进行解释的技术，并创建了一个可解释的语法错误纠正数据集，通过在生成过程中显式地控制 Prompt 插入，实现了生成所有纠正原因的解释，提高了纠正原因生成的性能。

    Sep, 2023