EMNLPOct, 2019

局部序列转导的并行迭代编辑模型

PDF
TL;DR本文提出一种并行迭代编辑（PIE）模型来解决本地序列转导问题，该模型在很多任务中都表现出竞争力，并且相比于流行的编码器解码器模型，PIE 模型在保持准确性的同时速度更快，其原因主要有：预测编辑而不是令牌，标记序列而不是生成序列，迭代地优化预测以捕获依赖关系，并且将日志分解为编辑和其令牌参数，以利用预先训练的语言模型，例如 BERT。
parallel iterative edit modellocal sequence transductiongrammatical error correctionencoder-decoder modelpre-trained language models
发现论文，激发创造
  • 当您编辑代码时，让代码改变自己的 LLM

    通过介绍一种称为 PIE（Positional Integrity Encoding）的方法，本研究解决了代码生成中的效率和准确性之间的问题，并在不同规模和任务下降低了超过 85% 的计算开销。

    Jul, 2024

  • 使用迭代解码的弱监督语法错误校正

    利用大量弱监督的双语数据，训练 Transformer 序列到序列模型，并采用迭代解码策略来进行语法错误纠正，最终在 CoNLL'14 基准测试上获得 F0.5 为 58.3，在 JFLEG 上获得 GLEU 为 62.4，即使不使用任何有标记的 GEC 数据，在 CoNLL'14 上的 F0.5 也能达到 48.2。

    Oct, 2018

  • 一次编码，多次并行解码：高效 Transformer 解码

    基于 Transformer 的 NLP 模型在计算成本上限制了其应用场景。我们引入了一种新的编码器 - 解码器模型配置（PiD），通过一次编码和并行解码输出来提高结构化输出和问答任务的效率，避免了重复的输入编码以及减小解码器的内存占用，从而获得了可比较或更好性能并具有高达 4.6 倍加速的计算减少。

    Mar, 2024

  • 利用大型语言模型预测编辑操作来减少序列长度

    本文提出一种通过预测编辑操作集合来实现本地序列转导任务的方法，并使用指令调整来对大型语言模型进行监督学习，实验证明该方法在常见任务中具备与基线模型相当的性能，同时可将目标文本长度缩小 21%。

    May, 2023

  • 使用预训练的编码器 - 解码器模型加强语法错误修正的基线

    本研究探索了使用双向和自回归转换器 (BART) 作为通用预训练编码器 - 解码器模型的实用性，以解决语法错误纠正问题中需要长时间预训练的问题，并发现单语和多语言 BART 模型在语法错误纠正方面取得了很高的表现。

    May, 2020

  • GEC-DePenD: 非自回归文法错误修正与解码的解耦置换

    我们提出了一种新的非自回归方法来解决语法错误纠正的问题，该方法使用置换网络和基于逐步展开去噪自编码器的解码网络，通过一次前向传递找到最佳输入序列的排列，避免了自回归方法的构建，实验结果表明我们的网络比以前所知的非自回归方法有更好的效果，并达到了不使用特定语言合成数据方法的自回归方法的水平。

    Nov, 2023

  • 学习性能提高的代码修改

    本文探讨了大型语言模型对编写和重构性能更好的代码方面的能力，通过收集大量的程序优化历程以评估和提高大型语言模型的能力，并使用优化器 CODEGEN 推出性能更好的代码以帮助程序员编写有效的代码。

    Feb, 2023

  • 学习模拟编辑过程

    本文提出了一种通过多步编辑的方式，建立生成序列的生成模型，以及训练该模型的神经网络，并基于多步编辑提出了基础结果和度量标准。实验结果表明，所提出的模型在相关下游任务上的表现优于以往单步编辑模型的表现。

    May, 2022

  • 基于编辑和重定位的编辑器 —— 用于具有软词汇约束的神经机器翻译

    本文介绍了一种基于编辑的转换器，其通过编辑假设使序列生成更加灵活。 实验证明，它在处理序列时，比 Levenshtein Transformer 更有效，并且在标准的机器翻译任务中可以实现与 Levenshtein Transformer 相媲美的翻译质量和更快的解码速度。

    Nov, 2020

  • 使用非自回归模型的文本编辑模仿学习课程

    提出了一个框架以训练非自回归序列到序列模型进行编辑任务，在此过程中，原始输入序列被迭代地编辑以生成输出。通过两种策略解决了在机器翻译训练的模仿学习算法在编辑场景下导致的训练和推断之间不匹配问题，从而显著提高了英文编辑任务上的输出质量和输出复杂度。

    Mar, 2022