认证的 PEFTSmoothing：具有随机平滑的参数高效微调

Apr, 2024

认证的 PEFTSmoothing：具有随机平滑的参数高效微调

Certified PEFTSmoothing: Parameter-Efficient Fine-Tuning with Randomized Smoothing

Chengyan Fu, Wenjie Wang

TL;DR通过使用 Parameter-Efficient Fine-Tuning（PEFT）方法，PEFTSmoothing 方法探索了一种使基础模型适应学习带有高斯噪声的数据的替代方式，证明了其在白盒和黑盒设置下的有效性和效率，可以为 CIFAR-10 上的 ViT 提供 98% 以上的准确性，比现有的去噪平滑方法高出 20%，在 ImageNet 上达到了 61% 的准确性，与基于 CNN 的去噪器相比高出 30%，与基于扩散的去噪器相媲美。

Abstract

randomized smoothing is the primary certified robustness method for accessing the robustness of deep learning models to →

randomized smoothing certified robustness deep learning models adversarial perturbations parameter-efficient fine-tuning

发现论文，激发创造

医学图像分析的参数高效微调：错过的机会

本文首次全面评估 Parameter-Efficient Fine-Tuning (PEFT) 技术对不同医学图像分析任务的适用性，通过超过 600 个控制实验，研究并比较了 16 种不同的 PEFT 方法，解决了 PEFT 技术在基础模型中的应用问题，展示了在某些情况下的高达 22% 的表现提高，并证明了 PEFT 对于医学图像识别和文本到图像生成具有实际应用价值。

May, 2023

用高斯平滑克服认证培训的悖论

使用高於對手的準確度訓練神經網絡仍然是一個尚未解決的問題。本文通過理論和實驗，證明了高斯損失平滑方法可以改善這個問題，並提出一種結合 PGPE 和不同凸放松方法的訓練方法，使得得到的網絡優於同類型網絡的最先進方法。儘管計算成本仍然具有挑戰性，但本研究結果明確展示了高斯損失平滑在訓練可靠神經網絡中的潛力。

Mar, 2024

认证的免费对抗鲁棒性

本文介绍了一个基于离线预训练模型，通过组合去噪扩散概率模型和高性能分类器等手段实现了对于 2 - 范数边界扰动的认证敌对鲁棒性，并在 ImageNet 数据集上得到了 71% 的分类准确率，显著优于之前的相关研究。

Jun, 2022

参数高效微调：跨应用全面分析

评估了 Parameter Efficient Fine-Tuning 方法在深度学习中的有效性，以减轻计算负担、提高训练速度和降低内存使用，从而推动深度学习的更广泛应用和模型优化的创新。

Apr, 2024

可证明鲁棒性的随机平滑分类器的规则化训练和紧密认证

本文研究了如何通过正则化风险函数以提高深度神经网络的准确性和稳健性，并提出了一种新的认证算法，能够对 CIFAR-10 和 ImageNet 数据集中的深度神经网络提供更严格的稳健性保证。

Feb, 2020

RoSA：鲁棒适应实现准确的参数高效微调

我们研究了能够在计算和内存有限的情况下提供良好准确度的参数高效调整方法（PEFT），我们提出了一种新的 PEFT 方法称为 Robust Adaptation（RoSA），通过在一组固定的预训练权重之上联合训练低秩和高度稀疏的组件，有效地逼近全精调（FFT）解决方案的性能，在需要进行精细调整以获得良好性能的挑战性生成任务中，如小学数学和 SQL 查询生成，我们展示了 RoSA 优于 LoRA 和纯稀疏调整在相同参数预算下的性能。我们为 RoSA 提供系统支持，以在训练算法中补充，具体为稀疏 GPU 内核，实现内存和计算上的高效训练。我们的代码将在 https://github.com/IST-DASLab/RoSA 上提供。

Jan, 2024

精调预训练大型语言模型中的稀疏是足够的

通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。

Dec, 2023

Light-PEFT: 轻量级参数高效微调通过早期修剪

Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory usage, and comparable performance to standard PEFT.

Jun, 2024

大型模型的参数高效微调：综合调查

通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

Mar, 2024

FairTune: 优化参数高效微调用于医疗图像分析中的公平性

在医学诊断等伦理敏感应用领域，以鲁棒的群体公平性训练模型至关重要。尽管有越来越多的研究旨在减少人工智能中的人口偏差，但这个问题仍然具有挑战性。公平性的泛化差距是这个挑战的原因之一：高容量的深度学习模型几乎可以完美地拟合所有训练数据，从而在训练过程中也表现出完美的公平性。在这种情况下，偏差仅在测试时出现，因为泛化表现在不同的子群体之间有差异。这激发了我们从双层优化的角度来看待公平学习：根据验证公平性来优化学习策略。具体而言，我们考虑采用适应预训练模型到下游医学图像任务的参数高效微调（PEFT）技术的高效工作流。在更新更多参数以更好地适应感兴趣的任务与更新更少参数以减少泛化差距之间存在权衡。为了处理这个权衡，我们提出了一个框架 FairTune，以优化与公平性相关的 PEFT 参数的选择。我们经验证明，FairTune 在一系列医学图像数据集上能够提高公平性。

Oct, 2023