Aug, 2023

PMET: Transformer 中的精确模型编辑

PDF
TL;DR通过分析多头自注意力和前馈网络隐藏状态的信息流，本研究发现多头自注意力编码了特定的通用知识提取模式，因此引入了一种同时优化 Transformer 组件隐藏状态的方法（PMET），在只使用优化后的前馈网络隐藏状态精确更新前馈网络权重的同时，实现了更精确的模型编辑。
model editinglarge language modelstransformer layermulti-head self-attentionknowledge extraction patterns
发现论文，激发创造
  • 高效变换器的基于近似的两层前馈网络

    如何在不牺牲性能的情况下减少神经网络的计算和内存需求？本研究提出了 sparse Mixtures of Experts 方法，通过一种综合框架将各种方法整合在一起以近似两层神经网络，并提出方法来改进这种方法，这样可以使大型语言模型在资源利用方面更加高效。

    Oct, 2023

  • Transformer-Patcher: 一错必补的神经元

    本研究提出一种被称为 Transformer-Patcher 的神经网络模型，能够通过简单地添加和训练最后一层前馈网络中的少量神经元，连续纠正长序列中的错误，达到了顺序模型编辑（SME）的最优表现，解决了工业环境中部署的模型如何快速准确地修正错误问题。

    Jan, 2023

  • PEMT：多任务相关导引的专家组合混合使得参数高效迁移学习

    我们提出了一种基于多任务迁移学习的新型参数高效微调框架 (PEMT)，通过在源任务上训练适配器的加权组合来捕捉可转移的知识，同时利用任务描述提示向量来衡量目标任务与每个源任务之间的相关性，以充分利用任务特定的知识并提高稀疏性。实验证明，我们的方法在各种任务上相较于完全微调、PEFT 和知识转移方法都取得了稳定的改进，突出了其能够充分利用多任务之间的知识和相关特征的有效性。

    Feb, 2024

  • 大规模语言模型的元学习编辑

    使用 MAssive Language Model Editing Network (MALMEN) 方法，以超网络生成参数移位来校正大型语言模型中的知识误差和过时问题。该方法可同时编辑多个事实，并比特定于 GPT 的编辑器在知识密集型 NLP 任务上表现更佳。

    Nov, 2023

  • 变形金刚中的大规模内存编辑

    我们开发了 MEMIT 方法，直接更新带有许多记忆的语言模型，可以扩展到 GPT-J（6B）和 GPT-NeoX（20B）的成千上万的关联，超过以前的工作数个数量级。

    Oct, 2022

  • 使您的预训练模型可逆：从参数到内存高效微调

    本文提出了一种内存高效的微调方法（MEFT），通过在预训练语言模型中插入适配器以保留 PLM 的起点并使其可逆，同时将激活内存降低到 84％的完全微调水平，并在 GLUE 基准测试中实现与完全微调相同的分数。

    Jun, 2023

  • 专家坚持自己的领域：面向稀疏架构的专家专用微调技术

    参数高效的微调（PEFT）是为了定制具有受限资源的大型语言模型（LLMs）而关键。本文研究了 Mixture-of-Experts（MoE）架构的 LLMs 上的 PEFT 方法，主要工作内容包括：（1）研究定制任务中激活的专家的集中程度，发现特定任务的路由分布往往高度集中，而激活的专家分布在不同任务之间差异显著。（2）提出了专家定制微调（ESFT），该方法在冻结其他专家和模块的同时调整与下游任务最相关的专家；实验结果表明，我们的方法不仅提高了调整效率，还甚至超过了全参数微调的性能。（3）进一步分析 MoE 架构对专家定制微调的影响，发现具有更细粒度专家的 MoE 模型能更好地选择与下游任务最相关的专家组合，从而提高训练效率和效果。

    Jul, 2024

  • 用于层级适应的混合效应 Transformer

    本文提出了混合效应 (transformer) 模型，通过引入前缀 (prefixes)，逐级学习并建立结构化的变异因素的影响，以解决 GPT-3 等现代语言模型在面对稀疏、额外的上下文环境时性能下降的问题，实验表明本模型在领域适应性测试中表现良好。

    May, 2022

  • MoPEFT: 用于分割任何模型的 PEFT 混合模型

    提出了一种新的框架，Mixture-of-PEFTs methods (MoPEFT)，它通过将三种不同的 PEFT 技术作为子模块，动态学习激活最适合给定数据任务设置的方法来对 Segment Anything Model 进行微调。在 MESS 基准测试中，我们对该方法进行了测试，并显示出 MoPEFT 在性能优化方面始终优于其他微调方法。

    May, 2024

  • MEFT：通过稀疏适配器实现内存高效微调

    通过使用较大的尺寸但内存高效的适配器，结合语言模型中前馈网络的固有激活稀疏性以及中央处理器内存相对于图形处理器更大的容量，我们提出了一种改进的方法来优化在有限资源下大型语言模型的微调性能。通过将较大尺寸的适配器的参数存储和更新在中央处理器上，并采用类似于专家混合 (MoE) 的架构来减少不必要的中央处理器计算和图形处理器之间的通信量，尤其是在 PCI Express (PCIe) 的有限带宽下，我们的方法可以实现与具有更大内存容量的情况下相媲美的微调结果，即使在较为有限的资源下，如只有 24GB 内存单 GPU 设置下，也能达到可接受的训练效率损失。

    Jun, 2024