Nov, 2023

FLORA：用于视觉 Transformer 的细粒度低秩架构搜索

PDF
TL;DR通过引入基于 NAS 的自动化框架 FLORA，本论文提出了一种用于降低计算负载的低秩逼近方法，通过低秩感知的候选过滤策略和低秩特定训练方法，实现了更精细的低秩配置，相比简单均匀配置可额外减少 33% 的操作次数，同时还展示了与压缩技术和紧凑混合结构整合可达到更高的 FLOPs 减少率。
发现论文，激发创造
  • Flora: 低秩适配器是隐形的梯度压缩器

    提出了低秩适应（LoRA）方法，通过训练较少的参数来减少优化状态的存储消耗，但会限制整体权重更新矩阵为低秩，本研究基于观察到低秩适应可以用随机投影来近似，因此提出了 Flora 方法，通过重新采样投影矩阵实现高秩更新，同时享受优化状态的次线性空间复杂度，实验证明了我们方法的有效性。

    Feb, 2024

  • FLoRA: N 维低秩核空间

    本文介绍了针对不同维参数空间的一种广义参数高效微调框架 FLoRA，通过 Tucker 分解在保持与原始空间一致的拓扑结构的低秩核空间上建模变化，并将相关权重用于重构原始空间中的变化，从而有效地保留原始 N 维参数空间变化的结构完整性，同时通过低秩张量分解对其进行分解。大量在计算机视觉、自然语言处理和多模态任务上的实验验证了 FLoRA 的有效性。

    May, 2024

  • FLoCoRA：具有低秩适应性的联邦学习压缩

    在此研究中，我们展示了 Low-Rank Adaptation 方法在从头开始训练小尺寸视觉模型的联邦学习中的应用，通过提出一种聚合不可知方法 FLoCoRA，我们证明该方法能够减少通信成本 4.8 倍，并且对于具有 ResNet-8 模型的 CIFAR-10 分类任务的准确度损失小于 1%。同时，我们还展示了通过引入仿射量化方案扩展该方法，将通信成本缩减 18.6 倍，与标准方法相比，对于 ResNet-18 模型的测试仍然保持不到 1% 的准确度损失。我们的研究在消息大小减小方面提供了一个强有力的基准，甚至与传统的模型压缩方法相比，同时还减少了由于低秩适应所需的训练内存。

    Jun, 2024

  • 基于批处理低秩方法的基础模型适应

    通过引入名为 Fast LoRA（FLoRA）的框架，我们可以有效地对多样化和全球用户群体的实时请求进行批处理，通过将每个输入示例与其独特的低秩适应权重关联起来，实现个性化的任务特定适应，从而缓解了 Low-Rank Adaptation (LoRA) 在处理多个任务特定适配器时的性能瓶颈。我们在包括 8 种语言的 MultiPL-E 代码生成基准和 6 种语言的多语种语音识别任务上，通过实证展示了 FLoRA 保持 LoRA 性能优点的竞争结果。

    Dec, 2023

  • 快速融合低秩和核注意力

    FLuRKA 是一种新型转换器，结合了低秩和核方法的优势，能够显著提高模型性能并匹配低秩和核方法在 GLUE 上的精度表现，同时在固定时间预训练方面也比全自注意力模型表现更好。

    Jun, 2023

  • FouRA: 傅里叶低秩适应

    FouRA 是一种新颖的低秩方法，通过学习傅里叶域的投影以及灵活的基于输入的适配器秩选择策略，成功解决了数据复制和分布坍塌问题，并显著提高了生成图像的质量。

    Jun, 2024

  • DoRA：权重分解低秩适应

    通过权重分解分析和 LoRA 方法的聚焦更新，DoRA 方法在保持低成本细调的基础上增强了学习能力和训练稳定性，对各种常识推理、视觉指导调整和图像 / 视频 - 文本理解等不同下游任务，超越了 LoRA 方法。

    Feb, 2024

  • 使用低秩适配器从视觉基础模型进行混合精度 Supernet 训练

    对于大型和高性能的视觉基础模型（Vision Foundation Models，VFMs）进行任意位操作（BitOPs）的压缩，以在各种硬件上部署。我们提出了将 VFM 微调为混合精度量化超网络的方法，该超网络进行神经架构搜索（NAS），可以训练超网络，然后可以提取在任意硬件预算内的子网络。针对现有方法在优化混合精度搜索空间和训练过程中产生大量内存开销方面的困难，我们首先通过比较不同操作符（如分辨率、特征大小、宽度、深度和位宽）的性能和 BitOPs 减少来研究微调 VFM 的有效搜索空间设计。其次，我们提出了一种使用低秩适配器（LoRA）和渐进训练策略的内存高效超网络训练方法。该方法在最近提出的 VFM（Segment Anything Model）上进行了评估，并在分割任务上微调。搜索出的模型在不降低性能的情况下减少了约 95% 的 BitOPs。

    Mar, 2024

  • FLoRA：利用参数高效的联邦学习增强视觉语言模型

    该论文提出了一种融合 Federated Learning 和 parameter-efficient adapters (LoRA) 的方法，以训练视觉语言模型 (VLMs)，该方法通过在分散的数据源上训练模型来保护数据隐私，并通过 LoRA 的参数高效微调来确保模型的适应性和效率。该方法加快了训练速度，比全面微调节省了 2.47 倍的内存使用。

    Apr, 2024

  • Floralens: 一种用于葡萄牙本土植物的深度学习模型

    使用机器学习技术，特别是深度卷积神经网络，对生物种类进行基于图像的识别在很多公众科学平台中至关重要。然而，关于训练网络所需的关键数据集构建和网络架构的选择目前有很少的文献资料，因此难以复制。本文提出了一种简化的方法，通过使用公开可用的研究级数据集，构建生物分类的数据集，并使用 Google 的 AutoML Vision 云服务的现成深度卷积神经网络模型。以葡萄牙本土植物为案例研究，该案例研究依托于葡萄牙植物学会提供的高质量数据集，并通过添加来自 iNaturalist、Pl@ntNet 和 Observation.org 的采样数据扩大。我们发现，通过精心设计数据集，现成的机器学习云服务可以轻松生成与最先进的公众科学平台相媲美的准确模型。我们开发的最佳模型，名为 Floralens，已集成到 Project Biolens 的公共网站中，在该网站中我们收集了其他分类的模型。训练该模型所使用的数据集和模型本身均可在 Zenodo 上公开获取。

    Feb, 2024