May, 2024

面向频谱感知的参数高效微调扩散模型

PDF
TL;DR提出了一种新的谱感知适应框架，即 SODA，用于大规模预训练生成模型的参数高效适应，通过调整预训练权重的奇异值和基向量来实现参数高效适应正交矩阵，提供了一种谱感知替代现有微调方法的有效选择。
large-scale pre-trained generative modelsparameter efficiencyspectrum-aware adaptationorthogonal matricestext-to-image diffusion models
发现论文，激发创造
  • 频谱适配器：频谱空间微调

    研究了参数高效调优方法与预训练深度神经网络的关联，提出了将预训练权重矩阵的光谱信息融入调优过程的两种机制：加性调优和正交旋转顶级奇异向量。实验证明该方法能提高低秩适配器的秩能力，使得参数效率和调优性能得到提升，并对多适配器融合也有益处。

    May, 2024

  • 谱扩散快速生成图

    该论文提出了一种基于图谱扩散的高效而有效的 Graph Spectral Diffusion Model （GSDM），相较于基于整个图邻接矩阵空间的扩散模型，该模型能够更好地学习生成拓扑结构更好的图数据，而实验结果表明该模型不仅可以生成质量更高、而且计算消耗也更小。

    Nov, 2022

  • 精调预训练大型语言模型中的稀疏是足够的

    通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。

    Dec, 2023

  • LaMDA：通过频谱分解的低维度调整进行大模型微调

    通过光谱分解低维适应性的大型模型微调，LaMDA 可以在减少可训练参数和峰值 GPU 内存使用的同时，达到与现有替代方案相当甚至更好的性能。

    Jun, 2024

  • 自适应预算分配用于参数高效微调

    提出 AdaLoRA 方法，以自适应方式在权重矩阵之间分配参数预算，以优化 NLP 的预先训练模型的参数更新问题，在多个自然语言处理任务中表现出显着优势。

    Mar, 2023

  • 大型卷积模型的参数高效调优

    通过细调滤波核元素，我们引入了一个简单的方法来改进现有的微调方法，以提取面向任务的表示，这种方法在区分和生成任务方面优于之前的微调基准。

    Mar, 2024

  • RoSA：鲁棒适应实现准确的参数高效微调

    我们研究了能够在计算和内存有限的情况下提供良好准确度的参数高效调整方法（PEFT），我们提出了一种新的 PEFT 方法称为 Robust Adaptation（RoSA），通过在一组固定的预训练权重之上联合训练低秩和高度稀疏的组件，有效地逼近全精调（FFT）解决方案的性能，在需要进行精细调整以获得良好性能的挑战性生成任务中，如小学数学和 SQL 查询生成，我们展示了 RoSA 优于 LoRA 和纯稀疏调整在相同参数预算下的性能。我们为 RoSA 提供系统支持，以在训练算法中补充，具体为稀疏 GPU 内核，实现内存和计算上的高效训练。我们的代码将在 https://github.com/IST-DASLab/RoSA 上提供。

    Jan, 2024

  • 关于具有谱控制的 GAN 的计算和泛化

    通过引入新的重新参数化方法和对权重矩阵的光谱进行控制，使生成对抗网络在图像生成方面取得了更好的表现。

    Dec, 2018

  • 视觉 Transformer 的参数高效模型适应

    本文研究了视觉变换器的参数高效模型适应策略，提出了一种基于局部内在维度的参数高效模型适应框架，并通过实验比较了不同方法在各项指标下的表现。结果表明，该框架在少样本下的 20 个图像分类数据集和全样本下的 7 个图像分类数据集上，在准确性和参数效率之间的平衡上表现最佳。

    Mar, 2022

  • 扩散模型模块定制的正交适应

    通过引入正交适应方法，我们解决了一个名为模块化定制的新问题，旨在高效合并独立为个别概念进行微调的定制模型，从而在一幅图像中联合合成概念，同时保持保真度且不增加计算开销，这一方法在效率和身份保持方面始终优于相关基线。

    Dec, 2023