May, 2023

切线空间中的任务算术：预训练模型的改进编辑

PDF
TL;DR本文提出任务算术学，通过线性化对其进行微调，分析了任务算术的机制及作用，强调权重分离是使其有效的关键因素之一。同时，证明其会对多个任务算术基准和多样化模型的表现产生显著的性能提升；并探讨了任务算术与 NTK 空间本征函数的空间本地化之间的联系，从而为编辑预训练模型提供了更加可靠和有效的方法。
task arithmeticweight disentanglementpre-trained modelsneural tangent kernelperformance improvement
发现论文，激发创造
  • 任务算术编辑模型

    本文提出了一种中心于任务向量概念的神经网络行为定向新范式，该向量通过在经过过微调任务的模型的权重空间中进行权重之差计算得出，并通过加和、否定等算术操作来编辑模型，这种方法展现出高效和简便的特性。

    Dec, 2022

  • 利用任务向量和学习的各向异性缩放进行知识组合

    基于预训练模型和任务向量的参数块组合方法，通过对少量数据进行任务算术、少样本识别和测试时调整，提高了知识组合和迁移的效果。

    Jul, 2024

  • 参数高效的多任务模型融合与部分线性化

    提出了一种部分线性化技术，用于改善多任务融合，并通过融合精调的任务向量来构建统一的多任务模型，取得了比标准参数高效微调技术更好的性能。

    Oct, 2023

  • 基于核方法的语言模型微调视角

    通过对 14 个 NLP 任务的实验验证，我们探究了采用 NTK 对预训练语言模型进行 fine-tuning 的机制和条件，并提出了一个基于 NTK 的解释，解释了参数高效子空间 fine-tuning 方法的成功原因。

    Oct, 2022

  • MetaGPT: 使用模型专属任务算法合并大型语言模型

    本文介绍了一种用于合并大型语言模型的模型专属任务算法，该算法通过优化合并模型和每个个体任务模型之间的平均损失差异来实现多任务学习，该方法不受隐私限制，具有成本效益和易于实施的优势，并在多个任务上取得了最先进的性能。

    Jun, 2024

  • 预训练 - 微调模式中出现的任务交叉线性

    通过线性插值发现预训练 - 微调模型之间的交叉任务线性性，揭示神经网络在参数空间到特征空间的映射机制，提供了关于模型合并 / 编辑的新见解，并强调了预训练的影响因素。

    Feb, 2024

  • 用于合成、隐私和去除的切向变换器

    介绍一种基于 Tangent Attention Fine-Tuning (TAFT) 的方法，通过对预先训练的初始化进行一阶泰勒展开的计算得到线性化的 transformers，从而使得线性化所得的 Jacobian-Vector Product 可以在一个前向传播中高效计算，从而降低了训练和推理成本同时保持与原始非线性对应物相同的参数数量；此外，当应用于各种下游视觉分类任务时，用 TAFT 进行精调得到的 Tangent Transformer 可以在性能方面与 fine-tuning 原始非线性网络的结果相当。由于 Tangent Transformers 相对于新权重集合是线性的，并且由此产生的 fine-tuning 损失具有凸性，因此 TAFT 在模型组合，并行训练，机器遗忘和差分隐私方面比非线性微调具有更多优势。

    Jul, 2023

  • 无切线的神经核函数

    通过研究神经网络和内核空间中的简单构建块之间的联系，我们提出了一种从特征组中创建 “组合” 内核的代数。在实验中，我们发现神经网络体系结构和相关内核的测试误差之间存在相关性，并构建了一个只使用 3x3 卷积、2x2 平均池化、ReLU 并使用 SGD 和 MSE 损失进行优化的简单神经网络体系结构，在 CIFAR10 数据集上获得 96％的准确度，其对应的组合内核可达到 90％的准确度。我们还使用我们的构造方法研究了神经网络、NTK 和组合内核在小数据集环境中的相对性能表现，特别是发现组合内核优于 NTK，神经网络优于这两种内核方法。

    Mar, 2020

  • 用神经切线核重新思考对抗训练

    本文使用神经切线核（NTK）对敌对训练（AT）过程和性质进行了深入研究，揭示了数据归一化对 AT 的影响以及批归一化层中无偏估计器的重要性，并通过实验探索了内核动力学和提出了更节省时间的 AT 方法，同时利用内核内的频谱特征解决了灾难性过拟合问题。据我们所知，这是首个利用内核动力学观察改进现有 AT 方法的研究。

    Dec, 2023

  • 通过草图和随机特征扩展神经切向核规模

    该研究提出了一种近似算法，旨在加速使用神经切向核的大规模学习任务，并结合随机特征，通过谱逼近保证精度。实验结果表明，其线性回归器可在 CIFAR-10 数据集上达到与全精度模型相当的准确度，同时提高了 150 倍的速度。

    Jun, 2021