Dec, 2023

神经元修补：在代码生成和 LLMs 上进行神经元级模型编辑

PDF
TL;DR大型语言模型在软件工程领域中成功应用，特别是在代码生成方面。本文提出了一种新颖有效的模型编辑方法（ extsc {MENT}），用于修补编程任务中的 LLMs。 extsc {MENT} 基于生成式 LLMs 的机制，在下一个标记预测中实现模型编辑，并进一步支持常见的编码任务。本研究提出了形式化的编辑过程和相关概念，并引入了评估其泛化能力的新指标。在 API-seq 推荐、行级代码生成和伪代码转换任务上，我们的方法优于最先进的方法，并展示了 extsc {MENT} 在软件工程中的应用。
large language modelsmodel editingcoding tasksneuron-level model editingsoftware engineering
发现论文，激发创造
  • MPN: 利用多语言修补神经元进行跨语言模型编辑

    提出了一种简单而有效的方法，使用多语言修补神经元来存储跨语言知识，以提升现有方法的跨语言编辑能力，并在两个数据集上进行实验证明其在跨语言编辑任务中表现出了提高的性能。

    Jan, 2024

  • 大型语言模型是否能编辑？评估其按照编程编辑指令的能力

    通过一个仔细设计的代码编辑任务基准以及结合自然语言指令的训练集，我们评估了几个最先进的大型语言模型，并揭示了现有开源和闭源模型之间的显著差距。同时，我们展示了通过精细调优开源代码语言模型可以显著提高其代码编辑能力。

    Dec, 2023

  • MELO: 利用神经元索引的动态 LoRA 增强模型编辑

    我们提出了一种基于神经元索引的动态 LoRA (MELO) 的插件模型编辑方法，通过根据内部向量数据库中的索引来动态激活特定的 LoRA 块，以改变语言模型的行为。实验结果表明，我们提出的 MELO 在文档分类、问答和幻觉修正等三个任务的编辑性能方面达到了最先进的水平，而且需要的可训练参数和计算成本最少。

    Dec, 2023

  • 多模态学习编辑源代码

    该研究以三种信息模式来自动生成基于多模态神经机器翻译编辑代码。通过深入研究和分析显示：开发人员的提示作为输入模式可以缩小补丁搜索空间，并在 Top-1 位置生成正确的修补程序，从而胜过现有模型。

    Aug, 2021

  • Transformer-Patcher: 一错必补的神经元

    本研究提出一种被称为 Transformer-Patcher 的神经网络模型，能够通过简单地添加和训练最后一层前馈网络中的少量神经元，连续纠正长序列中的错误，达到了顺序模型编辑（SME）的最优表现，解决了工业环境中部署的模型如何快速准确地修正错误问题。

    Jan, 2023

  • 大规模语言模型的鲁棒可扩展模型编辑

    利用 EREN（通过阅读笔记编辑模型）提出方法来提高大型语言模型的可伸缩性和鲁棒性，通过正确响应语法相似但语义无关的输入以及从多个修改中整合知识，优于现有技术。

    Mar, 2024

  • 大规模语言模型的元学习编辑

    使用 MAssive Language Model Editing Network (MALMEN) 方法，以超网络生成参数移位来校正大型语言模型中的知识误差和过时问题。该方法可同时编辑多个事实，并比特定于 GPT 的编辑器在知识密集型 NLP 任务上表现更佳。

    Nov, 2023

  • 大型语言模型编辑：问题、方法和机遇

    本研究旨在探讨大型语言模型的编辑问题，提出当前最先进的编辑方法并构建了一个新的基准数据集进行实证分析，从而为研究社区在选择适用于特定任务或上下文的最合适的方法时提供有价值的见解。

    May, 2023

  • MEMLA: 用神经掩蔽低秩适应增强多语言知识编辑

    多语言知识编辑涉及通过神经元屏蔽、低秩适应等方法，在多语言语言模型中进行跨语言更新，以提高编辑精度和多跳推理能力。

    Jun, 2024

  • 知识图谱增强的大型语言模型编辑

    利用知识图谱提升大型语言模型的编辑能力，通过图结构反映编辑过程中的关联知识变化，有效改善后编辑语言模型在处理编辑知识时的泛化能力。

    Feb, 2024