ICCVAug, 2023

DR-Tune: 通过语义校准进行分布正则化，改善预训练视觉模型的微调

PDF
TL;DR通过分布规则化和语义校准的先验知识下游微调框架，能够提高图像分类性能并解决过拟合和语义漂移的问题。
pretraining strategiesdistribution regularizationsemantic calibrationdownstream encoderssemantic drift
发现论文，激发创造
  • 用校准语言模型微调在内部和外部分布数据

    本文提出了一种经过正则化的 fine-tuning 方法，通过在数据流形内插值产生假样本，加强 In-distribution 采样的平滑性；同时通过在采样流形外的假样本输出平均分布的方式来提高 OOD 数据的可靠性，实验证明了该方法的有效性。

    Oct, 2020

  • 迈向经过校准的鲁棒视觉语言模型微调

    就细调技术在预训练模型的潜力释放和模型在分布偏移中的鲁棒性之间存在权衡关系，研究提出了一种校准鲁棒微调（CaRot）方法，以在内部数据和外部数据集上提高预训练视觉 - 语言模型（VLMs）的校准性和鲁棒性。验证结果证明了该方法的有效性。

    Nov, 2023

  • 利用自然语言监督改进视觉微调

    本文通过引入一种基于文本监督的微调方法（TeS），旨在缓解预训练模型中的 bias 问题，并在 11 个下游任务上进行了验证。实验结果表明，该方法能够显著提高微调的效果。

    Apr, 2023

  • SMART: 面向预训练自然语言模型的强健高效微调技术

    本文提出一种基于 Bregman 的 Trust-Region 优化的平滑正则化框架，用于更加有效地对预训练语言模型进行微调，避免过拟合和知识遗忘，通过实验表明在多项 NLP benchmarks 上达到了最新的性能水平。

    Nov, 2019

  • 通过对比正则化微调释放对比自监督视觉模型的潜能

    本文提出了一种叫做对比正则化调整的方法，把对比自监督学习应用在 Fei-tuning 中，用一种新颖的硬配对挖掘策略实现更有效的对比式 Fei-tuning，并平滑决策边界以更好地利用学习的判别式特征空间，证明了这种方法在图像分类和语义分割任务中的有效性。

    Feb, 2021

  • 通过提示规范化对视觉语言模型进行去偏微调

    该论文提出了一种基于提示正则化的新模式，用于在下游任务中微调大规模视觉语言预训练模型。通过提示预训练模型进行预测，来规范微调，从而保持其对迁移领域的高性能。同时，通过引入 Kullback-Leibler 损失等手段，自适应权衡预训练与下游任务训练过程中的差异，进一步提高模型性能。

    Jan, 2023

  • 预训练表示的双调谐

    本文提出 Bi-tuning，一种细调深度学习模型的新方法，能同时利用监督和无监督预训练，并综合使用有标签数据的判别信息和无标签数据的数据结构，相较于现有策略，在精度上有了长足的提升。

    Nov, 2020

  • 神经网络微调的改进正则化和鲁棒性

    通过 fine-tuning 算法的正则化与 self-labeling 方法相互插值，从而提高在小数据集下的图像与文本分类表现。

    Nov, 2021

  • 面向任务引导的预训练语言模型解耦调参

    该研究提出一种名为任务引导分离微调的方法，通过从预训练的语言模型中分离特定任务的信号来增强表示的泛化能力，实验结果表明，该方法在自然语言处理方面表现出更好的效果。

    Mar, 2022

  • 规范化的蒙版调整：揭示预训练视觉语言模型中的隐藏知识

    我们设计了一种名为正则化掩码调优的新型调优方法，在下游任务中通过学习的选择来屏蔽网络参数，从而将前期训练阶段中隐藏的有用知识重新引入到视觉语言模型中，通过实验证明了这种方法在不同数据集上的优越性能。

    Jul, 2023