Oct, 2023

高效可训练投影用于鲁棒微调

PDF
TL;DR通过投影的方法，我们提出了一种快速可训练的投影算法（FTP）来实现鲁棒精调，该算法能够快速学习每层投影约束，相较于之前的工作，我们的基准测试中速度提升了 35％。我们通过对四个不同视觉任务和五个不同的预训练模型进行的经验性研究表明，FTP 在 OOD 数据集，包括领域转移和自然失真方面表现出优越鲁棒性。此外，我们展示了 FTP 在低标签和持续学习设置等其他学习场景中的广泛适用性和益处。
发现论文，激发创造
  • 鲁棒微调的可训练投影梯度方法

    本文提出了可训练的投影梯度方法，自动学习每层的约束条件以进行精细调整的正则化，通过维护一组投影半径并通过权重投影加强它们，同时使用双层优化自动学习最佳投影半径组合，提高针对发散数据的鲁棒性能，代码可以在 github 上找到。

    Mar, 2023

  • AutoFT：通过 OOD 数据优化超参数进行稳健微调

    AutoFT 是一种基于数据驱动的方法，用于指导基础模型的微调，以优化性能和改善泛化能力。实验证明 AutoFT 在多个分布转移任务上表现出色，显著提高了对新的异常数据的泛化能力，并在 WILDS-iWildCam 和 WILDS-FMoW 基准测试上取得了新的最佳结果。

    Jan, 2024

  • Fine-Tuning 可以扭曲预训练特征且在超出分布时表现不佳

    本文研究预训练模型在下游任务中的迁移方法，发现在预训练特征优秀且分布偏移较大的情况下，与全微调相比，线性探针能够获得更好的模型鲁棒性，同时，我们证明以固定或随机线性层初始化的全微调方法会导致模型在分布偏移下的错误率明显上升，而线性探针再进行全微调的策略则能够优化这一问题。

    Feb, 2022

  • CRoFT：用于 OOD 泛化和开放集 OOD 检测的鲁棒微调和并发优化

    本文提出了一种能够改善视觉 - 语言预训练模型（VL-PTMs）对闭集外分布数据的泛化能力，同时在微调期间有效检测开放集未知类别的目标函数方法。

    May, 2024

  • 模型重新编程在文本 - 图像编码器的非分布数据上优于微调

    评估预训练模型在下游任务中的性能时，除了评估下游模型的内分布准确性外，还必须评估其对于一般化和识别离群样本的能力。本文揭示了侵入性微调技术所带来的隐藏成本，提出了 Reprogrammer 方法来改善下游模型在内分布、离群泛化和离群检测任务中的整体性能。实证证据表明 Reprogrammer 是非侵入性的，能产生更优秀的下游模型，并通过添加额外的表示残差连接进一步保留预训练表示，从而获得更安全、更强大的下游模型，能在许多内分布分类、离群泛化和离群检测设置中表现出色。

    Mar, 2024

  • FTFT：高效稳健的微调算法 —— 通过迁移训练动态

    通过数据映射方法和引入训练动态的方式，本文提出一种新的微调方法（FTFT），相比传统的经验风险最小化方法（ERM），该方法在训练成本减半的情况下达到更好的泛化鲁棒性。

    Oct, 2023

  • FedPFT: 基于联邦代理的基础模型迁移微调

    通过联邦学习策略对基础模型进行适应性调整，以保护数据隐私和有价值的基础模型，提出了一种新方法 Federated Proxy Fine-Tuning (FedPFT)，通过两个关键模块增强联邦学习下游任务中的基础模型的适应性。实验证据表明 FedPFT 方法的优越性。

    Apr, 2024

  • 正交微调控制文本到图像的扩散

    本文提出了一种基于正交细调方法（OFT）的文本到图像扩散模型，该方法能够可靠地实现下游任务，包括主题驱动生成和可控生成。

    Jun, 2023

  • 迈向经过校准的鲁棒视觉语言模型微调

    就细调技术在预训练模型的潜力释放和模型在分布偏移中的鲁棒性之间存在权衡关系，研究提出了一种校准鲁棒微调（CaRot）方法，以在内部数据和外部数据集上提高预训练视觉 - 语言模型（VLMs）的校准性和鲁棒性。验证结果证明了该方法的有效性。

    Nov, 2023

  • 迈向少样本外分布检测

    多样的 fine-tuning 方法中，我们的实验结果表明，DomainSpecific and General Knowledge Fusion (DSGF) 的整合显著提高了各种方法和 fine-tuning 方法的少样本 OOD 检测能力。

    Nov, 2023