Jun, 2024

从 LoRA 权重中恢复数据集大小

PDF
TL;DR我们引入了一个新的任务：数据集大小恢复，旨在直接从模型的权重中确定用于训练模型的样本数量。我们提出了 DSiRe 方法，用于恢复用于微调模型的图像数量，并发现 LoRA 矩阵的范数和频谱与微调数据集的大小密切相关，我们利用这一发现提出了一个简单而有效的预测算法。通过开发和发布一个包含 25000 个权重快照的新基准 LoRA-WiSE，我们的最佳分类器可以预测微调图像的数量，平均绝对误差为 0.36 个图像，证明了这种攻击的可行性。
model inversionmembership inference attacksdataset size recoverydsirelora
发现论文，激发创造
  • 恢复生成模型的预 Fine-Tuning 权重

    通过使用少量低秩（LoRA）微调模型，我们提出了一种名为 Spectral DeTuning 的方法，能够恢复出预微调模型的权重，利用这一新的漏洞攻击大规模模型。

    Feb, 2024

  • 离散傅里叶变换的参数高效微调

    通过 Fourier 变换进一步压缩可训练参数，用于精细调整基础模型，以达到与 LoRA 相当甚至更好的性能表现，但参数数量更少。

    May, 2024

  • DoRA：权重分解低秩适应

    通过权重分解分析和 LoRA 方法的聚焦更新，DoRA 方法在保持低成本细调的基础上增强了学习能力和训练稳定性，对各种常识推理、视觉指导调整和图像 / 视频 - 文本理解等不同下游任务，超越了 LoRA 方法。

    Feb, 2024

  • 关于大型模型的低秩适应的公平性

    通过对视觉和语言领域的分类和生成任务进行广泛实验，我们发现低秩适应（LoRA）在许多情况下具有与基准模型或其完整微调基准相当甚至更好的公平性，但也引发了适当任务设计和模型成员偏差评估等公平性评估方面的复杂性。

    May, 2024

  • LoRA-XS：低秩适应与极小参数

    介绍了一种新的参数高效微调方法 LoRA-XS，利用奇异值分解（SVD）在参数高效微调方面取得显著的结果，特别是在较大模型上，比 LoRA 和 VeRA 等最新方法更具参数效率同时保持竞争性能。

    May, 2024

  • 潘多拉的白箱：开放式 LLM 中训练数据泄露的增加

    本研究对开源大型语言模型的隐私攻击进行了系统研究，提出了威胁预训练和微调模型的成员推断攻击方法，并展示了近乎完美的攻击效果，强调了在进行高度敏感数据的微调和部署之前应当十分谨慎。

    Feb, 2024

  • LISA: 用于节省内存的大型语言模型微调的逐层重要性采样

    通过观察 Low-Rank Adaptation 在 fine-tuning 任务中的层内特性，我们发现了一种不同层之间权重归一化的不寻常偏度，利用这一关键观察，我们发现了一种非常简单的训练策略 ——Layerwise Importance Sampled AdamW（LISA），它在减少内存消耗的同时，超越 LoRA 及全参数训练，在大范围设置的下游 fine-tuning 任务中表现出色。

    Mar, 2024

  • LoRA 学习更少，遗忘更少

    通过在编程和数学这两个目标领域上比较 Low-Rank Adaptation (LoRA) 和全精调 (full finetuning) 的性能，我们发现在大多数情况下，LoRA 的表现明显逊于全精调；然而，LoRA 展现了一种理想的正则化形式，并且可以更好地保持基础模型在目标领域之外的任务表现，同时比传统技术如权重衰减和 dropout 提供了更强的正则化效果，并有助于生成更多样化的结果。我们还发现全精调学习到的扰动比典型 LoRA 配置的秩高 10-100 倍，这可能解释了一些报告中的差距。最后，我们提出了在使用 LoRA 进行精调时的最佳实践建议。

    May, 2024

  • MiLoRA: 利用次要奇异分量进行参数高效的 LLM 微调

    在本文中，我们提出了一种名为 MiLoRA 的简单而有效的 LLM 微调方法，仅更新权重矩阵的次要奇异部分，而保持主要奇异部分不变，以便在微调期间最大限度地利用较少优化的子空间来学习微调数据集。通过对常识推理、数学推理和指令跟踪基准的广泛实验，展示了我们方法的卓越性能。

    Jun, 2024

  • OwLore：离群值加权的逐层采样低秩投影，用于内存高效的 LLM 微调

    通过优化训练和内存利用，OwLore 方法在大型语言模型中实现了高效的微调和低内存占用。

    May, 2024