通过增量树转换学习结构编辑
本文提出了一种通过多步编辑的方式,建立生成序列的生成模型,以及训练该模型的神经网络,并基于多步编辑提出了基础结果和度量标准。实验结果表明,所提出的模型在相关下游任务上的表现优于以往单步编辑模型的表现。
May, 2022
本文研究分布式表征编辑的问题,并将神经编辑器与编辑编码器结合起来,可以学习表示编辑的重要信息,并用于将编辑应用于新输入。我们在自然语言和源代码编辑数据上进行实验,结果表明我们的神经网络模型学习捕捉了编辑的结构和语义。希望这个有趣的任务和数据源能够激发其他研究者进一步研究这一问题。
Oct, 2018
本文提出 Tree-Transformer 神经网络架构,可用于树状结构数据的矫正任务,并在源代码和自然语言两个领域中分别取得了 25% 和 10% 的改进。
Aug, 2019
提出了一个框架以训练非自回归序列到序列模型进行编辑任务,在此过程中,原始输入序列被迭代地编辑以生成输出。通过两种策略解决了在机器翻译训练的模仿学习算法在编辑场景下导致的训练和推断之间不匹配问题,从而显著提高了英文编辑任务上的输出质量和输出复杂度。
Mar, 2022
通过检索训练样本并进行编辑来生成复杂输出的方法,特别是源代码生成,最近已经被广泛使用。本文提出了一种有效的方法,即使用基于任务的嵌入式检索模型,使生成器基于输入直接编辑生成输出,且在新的 GitHub Python 代码和 Hearthstone 卡牌基准模型上实现了改进效果。
Dec, 2018
介绍了一种基于 Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model (SERAC) 的模型编辑方法,具备内存高、编辑表达能力强的特点,能够高效地处理基于问答、事实核查和对话生成的 3 种具有挑战性的语言模型编辑问题。
Jun, 2022
本研究开发了多种神经网络模型,利用合成数据测试模型的编辑模式学习能力,从原型生成下一步的编辑行为。文章提出了一种新颖的 “注意力” 和 “指针” 网络的组合模型能够最大化地提高性能和可伸缩性,应用结果初步证明了开发可以习得预测未来编辑的工具的可行性。
Apr, 2019
本文介绍了一种基于编辑的转换器,其通过编辑假设使序列生成更加灵活。 实验证明,它在处理序列时,比 Levenshtein Transformer 更有效,并且在标准的机器翻译任务中可以实现与 Levenshtein Transformer 相媲美的翻译质量和更快的解码速度。
Nov, 2020
介绍了一种基于 Transformer 的代码修复方法 NSEdit,其将错误的源代码输入,预测出一个修复序列,使用符合规则语句的神经符号脚本生成编辑程序,并通过指针网络选择编辑位置,经过训练和微调后,在 CodeXGLUE 基准测试中的 Tufano 小数据集上取得了 24.04%的准确度,该方法在程序包与程序包之间的抗干扰能力强。
Apr, 2022
本文提出一种新的图到树神经网络模型 (Graph2Tree),该模型包含一个图编码器和一个分层树解码器,能够对图结构的输入进行编码和树结构的输出进行解码,用于解决神经语义解析和数学问题求解,实验证明该模型在这些任务上表现优异。
Apr, 2020