Nov, 2023

蝴蝶分解优化的参数高效正交微调

PDF
TL;DR该研究论文提出了一种基于正交蝶形结构参数化的参数高效微调方法，命名为 Orthogonal Butterfly (BOFT)，并进行了大型视觉转换模型、大型语言模型和文本到图像扩散模型在不同视觉和语言下游任务中的广泛实证研究。
large foundation modelsorthogonal finetuningparameter-efficiencybutterfly structuresdownstream tasks
发现论文，激发创造
  • 正交微调控制文本到图像的扩散

    本文提出了一种基于正交细调方法（OFT）的文本到图像扩散模型，该方法能够可靠地实现下游任务，包括主题驱动生成和可控生成。

    Jun, 2023

  • 参数高效的准正交微调：基于 Givens 旋转方法

    通过引入准 Givens 正交微调（qGOFT），本文旨在提高 Fine-tuning 中的参数效率，并增强其适应各种下游任务的能力。在实验中，我们使用不同的任务和预训练语言模型验证了我们方法的有效性。

    Apr, 2024

  • 分组与混洗：高效结构正交参数化

    在本研究中，我们引入了一类新的结构化矩阵，统一并推广了之前工作中的结构化类，以进一步改进参数和计算效率。我们还将这种参数化方法用于修改正交微调框架，在不同领域进行了实证验证，包括文本与图像扩散模型的自适应和语言建模中的下游任务微调。此外，我们还将我们的结构化构造用于正交卷积，并进行了 1-Lipschitz 神经网络的实验。

    Jun, 2024

  • ETHER: 大规模模型的高维超平面反射高效微调

    我们提出了 ETHER 转换家族，通过超平面反射来实现高效微调，其需要较少的参数，对超参数和学习率选择具有鲁棒性，并在多个图像合成和自然语言任务中与现有的参数高效微调方法相匹配或超越，同时引发对 Hyperspherical 能量保留在实际上的可用性问题。

    May, 2024

  • 大型模型的参数高效微调：综合调查

    通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

    Mar, 2024

  • 利用蝴蝶分解学习线性变换的快速算法

    通过将快速矩阵向量乘法的特性定义为稀疏矩阵的积，我们引入了一种分治方法的参数化形式，可以自动学习很多重要的变换的有效算法，并且在机器学习流水线中可以作为通用矩阵的轻量级替代，以学习高效且可压缩的变换。

    Mar, 2019

  • AutoFT：通过 OOD 数据优化超参数进行稳健微调

    AutoFT 是一种基于数据驱动的方法，用于指导基础模型的微调，以优化性能和改善泛化能力。实验证明 AutoFT 在多个分布转移任务上表现出色，显著提高了对新的异常数据的泛化能力，并在 WILDS-iWildCam 和 WILDS-FMoW 基准测试上取得了新的最佳结果。

    Jan, 2024

  • 贝叶斯参数高效微调克服灾难性遗忘

    通过使用贝叶斯学习技术和 Laplace 逼近，我们展示了在更通用的参数高效微调（PEFT）框架中如何解决灾难性遗忘问题，并比较了使用对角和克罗内克逼近的方法在预训练知识保留上的性能差异。

    Feb, 2024

  • 精调预训练大型语言模型中的稀疏是足够的

    通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。

    Dec, 2023

  • 通过交叉块编排进行参数高效微调，用于分割任何模型

    我们在这篇论文中提出了一种参数高效微调的方法，使用跨块协同和内部块增强机制实现了 Segment Anything Model (SAM) 在各种新情景下的适应性，并通过实验证明了我们的方法在仅使用约 1K 额外参数的情况下显著提高了分割性能。

    Nov, 2023