ACLMay, 2023

预训练语言模型在中文语法错误修正的模型集成中的应用

PDF
TL;DR探索基于预训练语言模型（PLMs）计算的困惑度（PPL）的模型集成策略，以增强语法错误校正（GEC）系统，但得出一个出乎意料的结果，即基于 PLMs 的集成无法提高性能，详情需要进行评估可扩展性和改进测试数据。
model ensemblegrammatical error correctionpre-trained language modelsplmsensemble strategies
发现论文，激发创造
  • 评估大型语言模型在中文语法错误修正任务中的能力

    大规模语言模型在中文语法错误纠正任务中的表现及其问题的调查报告。研究发现大语言模型在自动评估指标方面表现不如之前的模型，并存在过度纠正的问题。此外，不同数据分布下大语言模型的表现也存在明显差异。这些发现表明需要进一步研究大语言模型在中文语法错误纠正任务上的应用。

    Jul, 2023

  • 用于英语学习者文本语法错误修正的开源和商业语言模型

    通过评估四个已建立的语法错误纠正基准数据集上的七个开源模型和三个商业模型，我们发现大规模语言模型（LLMs）在特定环境下超过监督式英语语法错误纠正模型，并且零次提示在某些情形下与少次提示具有相同竞争力。

    Jan, 2024

  • 重新思考大型语言模型在中文语法纠错中的角色

    利用大型语言模型作为解释器和评估器，可能提高汉语语法错误纠正任务的性能并减少主观性问题。该研究通过广泛实验和详细分析验证了这种思路和方法的有效性。

    Feb, 2024

  • 预训练的跨语言语言模型在多语言语法错误纠正中的统一策略

    本文提出了一种通用且与语言无关的多语言语法纠错方法，通过预训练的跨语言语言模型和英语与目标语言之间的平行翻译数据，构建了多样化的平行语法纠错数据，并利用该数据训练语法纠错模型，在不同语言的三个基准测试中取得了最先进的结果。

    Jan, 2022

  • 大型语言模型是语法错误修正的最先进评估器

    研究发现大型语言模型（LLMs）在语法错误纠正（GEC）评估中表现优异，特别强调了流畅度作为评估标准的重要性。

    Mar, 2024

  • ElitePLM：预训练语言模型通用语言能力评估的实证研究

    本文介绍了一个对预训练语言模型（PLMs）的普适语言能力进行大规模实证研究的 ElitePLM，并设计了四个评估维度来衡量十种广泛使用的 PLMs，包括记忆、理解、推理和组合。实验结果表明，PLMs 在不同的能力测试中表现出色；下游任务中的微调通常对数据大小和分布敏感；PLMs 在类似任务之间具有出色的可转移性，并且 PLMs 的预测结果在我们的实验中作为开放资源发布，以进行更深入和详细的 PLMs 语言能力分析。这篇论文可以引导未来的工作选择，应用和设计特定任务的 PLMs。

    May, 2022

  • 一个基于 BERT 的无监督语法错误纠正框架

    本文提出了一种基于 BERT 的无监督语法错误校正框架，该框架将语法错误校正视为多类别分类任务，涵盖数据流构建模块、句子困境评分模块和误差检测和校正模块，并提出了一种新的伪困境评分方法来评估句子的可信度，并构建了 Tagalog 语料库进行研究，其表现竞争性较强，证明了该框架对于低资源语法错误校正任务很有用处。

    Mar, 2023

  • 编码器 - 解码器模型在语法错误纠正中可以受益于预训练的掩码语言模型

    本文研究如何将预训练的蒙面语言模型（例如 BERT）有效地纳入编码 - 解码模型，以进行语法错误纠正，并提出一种新的方法，在给定语法错误纠正语料库中对蒙面语言模型进行微调，并利用微调后的蒙面语言模型的输出作为语法错误纠正模型的额外特征，实现了蒙面语言模型的最大化利用，在 BEA-2019 和 CoNLL-2014 基准测试中获得了最好的性能表现。

    May, 2020

  • 使用大型语言模型进行翻译假设集成的实证研究

    通过对多个大型语言模型 (LLMs) 进行假设集成的研究，对于基于 LLM 的机器翻译问题，我们探讨了如何提高生成文本的质量。我们尝试了多种假设集成技术，如 ChatGPT、LLaMA 和 Alpaca，并进行了综合研究，包括生成假设的方法（多个提示、温度采样和束搜索）以及生成最终翻译的策略（基于指令、基于质量的重新排序和最小贝叶斯风险解码）。我们的研究结果表明，MBR 解码是一种非常有效的方法，使用少量样本可以提高翻译质量，指令调整对假设的多样性和采样温度之间的关系具有很大影响。

    Oct, 2023

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021