Feb, 2024

隐私保护的低秩适应性潜态扩散模型

PDF
TL;DRLow-rank adaptation is used to adapt latent diffusion models, but it is vulnerable to membership inference attacks; therefore, a privacy-preserving solution called Stable PrivateLoRA is proposed to mitigate this issue and effectively defend against MI attacks while generating high-quality images.
low-rank adaptationlatent diffusion modelsmembership inference attacksprivacy-preserving lorastable privatelora
发现论文，激发创造
  • 低秩适应的表达能力

    使用低秩适应（LoRA）参数有效的微调方法，通过分析其表达能力和近似误差，证明了 LoRA 方法能够将预训练模型适应到较小目标模型，并适用于全连接神经网络和 Transformer 网络。

    Oct, 2023

  • 关于大型模型的低秩适应的公平性

    通过对视觉和语言领域的分类和生成任务进行广泛实验，我们发现低秩适应（LoRA）在许多情况下具有与基准模型或其完整微调基准相当甚至更好的公平性，但也引发了适当任务设计和模型成员偏差评估等公平性评估方面的复杂性。

    May, 2024

  • 高效隐私保护 LLM 的 PrivateLoRA

    在这项研究中，我们提出了一个新颖的 LLM 服务范例，通过在边缘设备上分布隐私敏感计算和在云端共享计算的方式，实现了数据本地性；我们的核心创新 PrivateLoRA 通过利用残余激活的低秩性质实现了超过 95% 的通信减少，从而高效地维护了数据本地性；在 5G 网络下，PrivateLoRA 在 7B 模型上的吞吐量达到了设备独立解决方案的 300% 以上和 33B 模型上 A100 GPU 的 80% 以上；同时，PrivateLoRA 还提供了与 LoRA 相媲美的调优性能，使边缘设备能够获得最先进的生成式人工智能，并为广大公众提供更加个性化的 LLM 体验。据我们所知，我们提出的框架是文献中第一个高效且保护隐私的 LLM 解决方案。

    Nov, 2023

  • 差分隐私低秩适应大型语言模型的联邦学习

    通过使用 DP-LoRA，这篇文章介绍了一种针对大型语言模型的新的联邦学习算法，旨在确保数据隐私并优化通信效率，以实现严格的隐私约束条件。

    Dec, 2023

  • PC-LoRA：基于知识蒸馏的逐步模型压缩的低秩适应

    逐步压缩低秩适应（PC-LoRA）方法通过低秩适应同时进行模型压缩和微调，最终仅保留低秩适配器以取代预训练权重，实现了参数和计算量的压缩。

    Jun, 2024

  • 基于低秩适应的时间序列基础模型在领域外模态预测中的应用

    通过对 Lag-Llama、MOIRAI 和 Chronos 这三个基础模型应用 Low-Rank Adaptation (LoRA) 技术，本研究探讨了在时间序列数据中使用 LoRA 对预测严重感染患者生命体征的影响，证明了 LoRA 在适用于未知模态时在提高预测性能和降低领域特定数据上运行大型模型的低效问题方面的潜力，并通过对调参参数和 LoRA 矩阵秩的不同设置进行综合消融研究，验证了模型性能的可观提高。

    May, 2024

  • 隐私保护联邦学习中 LoRA 的改进

    在隐私保护联邦学习中，本文提出了一种高效且有效的低秩适应方法 FFA-LoRA，通过固定非零矩阵并仅微调零矩阵，缓解了数据异构性、差分隐私增强噪声放大以及超参数敏感性等挑战，同时将通信成本减半，并在各种联邦学习任务中展现了更一致的性能和更好的计算效率。

    Mar, 2024

  • DyLoRA: 使用动态无搜索低秩适应进行参数高效微调预训练模型

    本文提出了一种名为 Dynamic Low-Rank Adaptation 的技术，旨在通过训练预训练模型的适配器模块，为多个秩数建立动态搜索免费的模型，并证明该方法可以显著加快训练速度并在 GLUE 基准测试中取得一致的优秀表现。

    Oct, 2022

  • LoRA+：大型模型的高效低秩自适应

    通过设置适当的比率为 LoRA 适配器矩阵 A 和 B 设置不同的学习率，我们提出了一种名为 LoRA$+$ 的算法，解决了 LoRA 的次优问题同时提高了性能（1-2％改进）和微调速度（最高约 2 倍速度提升）的问题。

    Feb, 2024

  • 稀疏低秩的预训练语言模型适应

    在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高 LoRA 的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA 在保留 70% 参数和训练时间的情况下，能够胜过其他基准模型。

    Nov, 2023