ICLRApr, 2022

通过神经符号编辑语法修复 Transformer 中的程序漏洞

PDF
TL;DR介绍了一种基于 Transformer 的代码修复方法 NSEdit，其将错误的源代码输入，预测出一个修复序列，使用符合规则语句的神经符号脚本生成编辑程序，并通过指针网络选择编辑位置，经过训练和微调后，在 CodeXGLUE 基准测试中的 Tufano 小数据集上取得了 24.04％的准确度，该方法在程序包与程序包之间的抗干扰能力强。
发现论文，激发创造
  • 利用神经符号转换网络进行语义化代码修复

    通过使用语义修复的统计模型和神经网络，我们的研究成功地预测代码中的错误位置，并将其修复，从而提高了修复的准确性。

    Oct, 2017

  • 基于编辑和重定位的编辑器 —— 用于具有软词汇约束的神经机器翻译

    本文介绍了一种基于编辑的转换器，其通过编辑假设使序列生成更加灵活。 实验证明，它在处理序列时，比 Levenshtein Transformer 更有效，并且在标准的机器翻译任务中可以实现与 Levenshtein Transformer 相媲美的翻译质量和更快的解码速度。

    Nov, 2020

  • Seq2Edits: 序列转录使用基于跨度的编辑操作

    Seq2Edits 是一种基于开放词汇的序列编辑方法，适用于自然语言处理 (NLP) 任务，其中每个序列到序列转换表示为一系列编辑操作，用于替换源跨度或保持其不变。该方法在五个 NLP 任务上进行了评估，并在各个方面都取得了有竞争力的结果。其中在语法错误修正方面，与完整序列模型相比，该方法提高了推理速度达 5.2 倍，而推理时间取决于编辑数而不是目标标记数。

    Sep, 2020

  • Transformer-Patcher: 一错必补的神经元

    本研究提出一种被称为 Transformer-Patcher 的神经网络模型，能够通过简单地添加和训练最后一层前馈网络中的少量神经元，连续纠正长序列中的错误，达到了顺序模型编辑（SME）的最优表现，解决了工业环境中部署的模型如何快速准确地修正错误问题。

    Jan, 2023

  • EditNTS: 通过显式编辑的句子简化神经程序解释器模型

    这篇论文介绍了第一个基于神经程序解释器方法实现显式编辑操作（添加、删除和保留）的句子简化模型。与旧有的序列到序列机器翻译方法不同，该方法直接训练预测输入句子的目标部分的显式编辑操作，表现大幅度优于先前的最先进的神经句子简化模型，在人类评价方面也得到了肯定。

    Jun, 2019

  • 通过自然语言交互纠正语义解析错误

    该研究通过 NL-EDIT 模型演示自然语言反馈的交互过程中，对语义解析的一次修正可以将现有文本到 SQL 解析器的准确性提高 20％，并分析该模型的局限性并讨论改进和评估方向。

    Mar, 2021

  • Tree-Transformer: 一种基于 Transformer 的树形数据纠错方法

    本文提出 Tree-Transformer 神经网络架构，可用于树状结构数据的矫正任务，并在源代码和自然语言两个领域中分别取得了 25% 和 10% 的改进。

    Aug, 2019

  • 用于建模源代码编辑的神经网络

    本研究开发了多种神经网络模型，利用合成数据测试模型的编辑模式学习能力，从原型生成下一步的编辑行为。文章提出了一种新颖的 “注意力” 和 “指针” 网络的组合模型能够最大化地提高性能和可伸缩性，应用结果初步证明了开发可以习得预测未来编辑的工具的可行性。

    Apr, 2019

  • 通过增量树转换学习结构编辑

    提出一种适用于结构化数据的增量编辑模型，以树状结构数据为例，采用编辑编码器和模仿学习方法，实现树的连续渐进式变换，与采用单次直接生成的编辑方法相比，明显提高精度和健壮性。

    Jan, 2021

  • 学习表示编辑

    本文研究分布式表征编辑的问题，并将神经编辑器与编辑编码器结合起来，可以学习表示编辑的重要信息，并用于将编辑应用于新输入。我们在自然语言和源代码编辑数据上进行实验，结果表明我们的神经网络模型学习捕捉了编辑的结构和语义。希望这个有趣的任务和数据源能够激发其他研究者进一步研究这一问题。

    Oct, 2018