model editing | BriefGPT - AI 论文速递

关键词model editing

搜索结果 - 43

SWEA：通过主题词嵌入修改大型语言模型的事实知识
我们提出了一种可扩展的主题词嵌入修改（SWEA）框架，它修改了主题的表示并在推理阶段实现了知识的编辑目标。我们进一步提出了优化然后抑制融合方法，用于编辑 LLMs 中的事实知识。我们在多个数据集上展示了 SWEAOS 的最先进推理能力。
PDF5 months ago
撒下风，收获飓风：编辑语言模型的影响
人工智能领域中，大型语言模型的红队测试或越狱概念成为一项关键研究领域，本文通过模型编辑的方式调查了这种修改的复杂后果，并揭示了在提高模型准确性和保护伦理完整性之间存在的复杂关系。研究发现，注入准确信息对模型的可靠性至关重要，但却可能不可预测
PDF5 months ago
规模化的模型编辑导致渐进性和灾难性遗忘
大型语言模型的编辑知识是一种有吸引力能力，允许我们在预训练期间纠正学习不正确的事实，并在模型中更新日益增长的新事实清单。然而，现有的模型编辑技术通常使用可靠性、特异性和对一项或少数几个编辑的泛化性指标进行评估。我们认为，为了使模型编辑具有实
PDF6 months ago
模型编辑可能损害大型语言模型的普适能力
通过对两个大型语言模型在八个代表性任务类别上评估四种常用的编辑方法进行广泛实证研究后，我们发现模型的编辑能够提高模型的事实性，但会显著损害模型的通用能力，因此我们呼吁更多的研究努力来最小化在大语言模型预训练期间获得的通用能力的损失，并在模型
PDF6 months ago
大型语言模型重新学习已删除的概念
模型编辑、神经元修剪、概念再学习、显著性和相似性、概念移除是本研究的关键词。通过追踪重新训练时修剪神经元中的概念显著性和相似性，我们的发现显示模型能够通过将先进概念重新定位到早期层和将修剪概念分配给具有类似语义的神经元来快速恢复修剪后的性能
PDF6 months ago
AAAIMELO: 利用神经元索引的动态 LoRA 增强模型编辑
我们提出了一种基于神经元索引的动态 LoRA (MELO) 的插件模型编辑方法，通过根据内部向量数据库中的索引来动态激活特定的 LoRA 块，以改变语言模型的行为。实验结果表明，我们提出的 MELO 在文档分类、问答和幻觉修正等三个任务的编
PDF6 months ago
AAAI历史重要性：大型语言模型的时间知识编辑
通过引入时间知识编辑（TKE）任务和建立一个评估当前模型编辑方法的基准 AToKe（Temporal Knowledge Editing 的评估）来解决现有模型编辑方法在记住新知识方面有效，但对历史知识遗忘严重的问题。为了解决这个问题，我们
PDF7 months ago
神经元修补：在代码生成和 LLMs 上进行神经元级模型编辑
大型语言模型在软件工程领域中成功应用，特别是在代码生成方面。本文提出了一种新颖有效的模型编辑方法（ extsc {MENT}），用于修补编程任务中的 LLMs。 extsc {MENT} 基于生成式 LLMs 的机制，在下一个标记预测中实
PDF7 months ago
EMNLPDUnE: 统一编辑的数据集
本研究扩大了模型编辑问题的范围，包括去偏和修正推理错误等各种编辑情况，并提出了自然语言表达为编辑的 DUnE 基准。通过大量实验证明，检索增强语言建模可以胜过专门的编辑技术，而两种方法都没有完全解决我们基准涵盖的广义编辑问题。
PDF7 months ago
自然语言模型编辑增强的灵活模型可解释性
在大型语言模型时代，模型可解释性和模型编辑是关键目标。有趣的是，这两个目标之间存在一种联系：如果一种方法能够针对人类感兴趣的概念有系统地编辑模型行为，这种编辑方法可以通过指向相关表示并系统地操控它们来帮助使内部表示更具可解释性。
PDF8 months ago
EMNLPDEPN: 检测和编辑预训练语言模型中的隐私神经元
为了有效降低预训练语言模型中的数据泄漏风险，我们提出了一个名为 DEPN 的框架来检测和编辑预训练语言模型中的隐私神经元，部分受到知识神经元和模型编辑的启发。在 DEPN 中，我们引入了一种称为隐私神经元探测器的新方法，来定位与私人信息相关
PDF8 months ago
在文本图像生成模型中定位和编辑知识
文本到图像扩散模型研究了知识表示和视觉特征，采用因果中介分析方法来理解大规模文本到图像扩散模型中不同视觉属性相关的知识是如何存储的，并发现在条件 UNet 的一组组件中分布着不同属性的知识。同时，发现在公共文本到图像模型中，只存在一个因果状
PDF8 months ago
EMNLP多语言语言模型中事实知识的跨语言一致性
对多语言大规模预训练语言模型进行研究，发现不同语言之间的事实知识存在显著差异。为了确保具有不同语言背景的用户从同一模型中获得一致的反馈，我们提出了一种基于排名的一致性评估指标，并对模型层面和语言对层面的一致性决定因素进行了深入分析。研究结果
PDF9 months ago
透过双向语言模型编辑解除逆转咒语
本文研究双向语言模型编辑，旨在提供严格的模型编辑评估，以评估编辑后的语言模型是否能双向回忆编辑的知识。引入了一种新的可逆性评估度量，并构建了一个名为 Bidirectional Assessment for Knowledge Editin
PDF9 months ago
通过文本解释解读和控制视觉基础模型
基于大规模预训练视觉模型，如 CLIP，的本文的研究主要集中在模型的解释和控制，通过理解模型的潜在令牌和进行模型编辑来改进模型的推理行为和鲁棒性。
PDF9 months ago
MedEdit：应用外部知识库进行医学问答的模型编辑
使用模型编辑和上下文学习的综合检索策略，可以提高大型语言模型在医学问答方面的准确性，消除黑盒模型的挑战。
PDF9 months ago
PMET: Transformer 中的精确模型编辑
通过分析多头自注意力和前馈网络隐藏状态的信息流，本研究发现多头自注意力编码了特定的通用知识提取模式，因此引入了一种同时优化 Transformer 组件隐藏状态的方法（PMET），在只使用优化后的前馈网络隐藏状态精确更新前馈网络权重的同时，
PDFa year ago
评估语言模型中知识编辑的连锁反应
通过提出一套新的评估标准，我们构建了一个诊断基准集合，其中包含了 5K 个不同类型的知识扩展，我们在该基准上对知名的编辑方法进行了评估，结果表明现有的方法在模型知识的一致性变化方面存在问题，同时我们发现通过简单的上下文编辑方法可以在我们的基
PDFa year ago
可编辑图神经网络用于节点分类
本文提出了一种名为 EGNN 的方法，它与 GNN 结合，通过将 MLP 与 GNN 简单拼接来订正模型在分类节点上的预测，以避免了 GNNs 中的邻居扩散的问题。实验证明，EGNN 在多个图数据集上的效果都比现有的基线更好，而且具有更好的
PDFa year ago
大型语言模型编辑：问题、方法和机遇
本研究旨在探讨大型语言模型的编辑问题，提出当前最先进的编辑方法并构建了一个新的基准数据集进行实证分析，从而为研究社区在选择适用于特定任务或上下文的最合适的方法时提供有价值的见解。
PDFa year ago