robust fine-tuning | BriefGPT

关键词robust fine-tuning

搜索结果 - 4

AutoFT：通过 OOD 数据优化超参数进行稳健微调
AutoFT 是一种基于数据驱动的方法，用于指导基础模型的微调，以优化性能和改善泛化能力。实验证明 AutoFT 在多个分布转移任务上表现出色，显著提高了对新的异常数据的泛化能力，并在 WILDS-iWildCam 和 WILDS-FMoW
PDF5 months ago
迈向经过校准的鲁棒视觉语言模型微调
就细调技术在预训练模型的潜力释放和模型在分布偏移中的鲁棒性之间存在权衡关系，研究提出了一种校准鲁棒微调（CaRot）方法，以在内部数据和外部数据集上提高预训练视觉 - 语言模型（VLMs）的校准性和鲁棒性。验证结果证明了该方法的有效性。
PDF8 months ago
高效可训练投影用于鲁棒微调
通过投影的方法，我们提出了一种快速可训练的投影算法（FTP）来实现鲁棒精调，该算法能够快速学习每层投影约束，相较于之前的工作，我们的基准测试中速度提升了 35％。我们通过对四个不同视觉任务和五个不同的预训练模型进行的经验性研究表明，FTP
PDF8 months ago
AutoLoRa：一种无需参数的自动化稳健微调框架
在该论文中，我们揭示了现有 Robust Fine-Tuning 方法存在的问题，即通过特征提取器同时优化对抗目标和自然目标会导致梯度方向明显偏离，从而降低对抗鲁棒性，并使得 Robust Fine-Tuning 非常敏感于超参数。为了解决
PDF9 months ago