ICLRJan, 2023

Transformer-Patcher: 一错必补的神经元

PDF
TL;DR本研究提出一种被称为 Transformer-Patcher 的神经网络模型，能够通过简单地添加和训练最后一层前馈网络中的少量神经元，连续纠正长序列中的错误，达到了顺序模型编辑（SME）的最优表现，解决了工业环境中部署的模型如何快速准确地修正错误问题。
pretrained language modelsmodel editingsequential model editingtransformer-patchererror correction
发现论文，激发创造
  • 可编辑神经网络

    该研究探讨了神经网络的编辑问题，提出了 Editable Training，这是一种模型无关的训练技术，以便快速修补模型的错误，并在大规模图像分类和机器翻译任务中进行了实证研究。

    Apr, 2020

  • 神经元修补：在代码生成和 LLMs 上进行神经元级模型编辑

    大型语言模型在软件工程领域中成功应用，特别是在代码生成方面。本文提出了一种新颖有效的模型编辑方法（ extsc {MENT}），用于修补编程任务中的 LLMs。 extsc {MENT} 基于生成式 LLMs 的机制，在下一个标记预测中实现模型编辑，并进一步支持常见的编码任务。本研究提出了形式化的编辑过程和相关概念，并引入了评估其泛化能力的新指标。在 API-seq 推荐、行级代码生成和伪代码转换任务上，我们的方法优于最先进的方法，并展示了 extsc {MENT} 在软件工程中的应用。

    Dec, 2023

  • 通过神经机器翻译在野外学习修复错误补丁的实证研究

    通过挖掘 GitHub 上项目代码的变更历史记录，使用神经机器翻译技术进行修复漏洞的学习，设计并训练了一个 Encoder-Decoder 模型，可以在瞬间模仿各种不同的 AST 操作，并生成候选修复程序，可在实际环境中修复数以千计的独特故障方法，并预测出开发人员生成的固定补丁的 9-50%。

    Dec, 2018

  • 通过神经符号编辑语法修复 Transformer 中的程序漏洞

    介绍了一种基于 Transformer 的代码修复方法 NSEdit，其将错误的源代码输入，预测出一个修复序列，使用符合规则语句的神经符号脚本生成编辑程序，并通过指针网络选择编辑位置，经过训练和微调后，在 CodeXGLUE 基准测试中的 Tufano 小数据集上取得了 24.04％的准确度，该方法在程序包与程序包之间的抗干扰能力强。

    Apr, 2022

  • 使用自然语言补丁修复模型缺陷

    通过自然语言补丁，我们能够提供正确的抽象层次，从而为 NLP 模型提供更准确的校正反馈，此任务与整合补丁信息的任务可以分开，使用少量的合成数据来教导模型，能有效地使用实际数据上应用的补丁，使用 1 至 7 个补丁可以提高情感分析数据集上～1-4 的准确性点和关系提取数据集上 F1 7 点的精度，最后我们展示了即使有 100 个从标签数据示例微调模型，与一组小的语言补丁相比，也需要更多的时间。

    Nov, 2022

  • 编码器 - 解码器模型的秩一编辑

    本研究在 Encoder-Decoder transformer 模型中提出了 4 种编辑任务，并展示了这种直接干预方法的高效性，只需一个有效实例就能修复错误的负面模型行为。

    Nov, 2022

  • PMET: Transformer 中的精确模型编辑

    通过分析多头自注意力和前馈网络隐藏状态的信息流，本研究发现多头自注意力编码了特定的通用知识提取模式，因此引入了一种同时优化 Transformer 组件隐藏状态的方法（PMET），在只使用优化后的前馈网络隐藏状态精确更新前馈网络权重的同时，实现了更精确的模型编辑。

    Aug, 2023

  • 修补即翻译：数据与隐喻

    本文探讨了将计算语言学等其他领域的机器学习模型用于软件工程任务的现象，特别针对代码修复任务所面临的挑战，并通过基于本身特点的原则性模型设计以及条件编辑代码综合方案的实现与效果验证，展示了如何优化这些模型，提高其效果，促进领域的进一步创新。

    Aug, 2020

  • 神经网络翻译模型用于语法纠错

    本文介绍了使用神经网络全局词汇模型和神经网络联合模型来改善基于短语的统计机器翻译系统的局限性，通过对源句子的环境信息进行更有效地利用，显著提高了语法错误纠正的准确性。

    Jun, 2016

  • MPN: 利用多语言修补神经元进行跨语言模型编辑

    提出了一种简单而有效的方法，使用多语言修补神经元来存储跨语言知识，以提升现有方法的跨语言编辑能力，并在两个数据集上进行实验证明其在跨语言编辑任务中表现出了提高的性能。

    Jan, 2024