模型重新编程在文本 - 图像编码器的非分布数据上优于微调

Mar, 2024

模型重新编程在文本 - 图像编码器的非分布数据上优于微调

Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders

Andrew Geng, Pin-Yu Chen

TL;DR评估预训练模型在下游任务中的性能时，除了评估下游模型的内分布准确性外，还必须评估其对于一般化和识别离群样本的能力。本文揭示了侵入性微调技术所带来的隐藏成本，提出了 Reprogrammer 方法来改善下游模型在内分布、离群泛化和离群检测任务中的整体性能。实证证据表明 Reprogrammer 是非侵入性的，能产生更优秀的下游模型，并通过添加额外的表示残差连接进一步保留预训练表示，从而获得更安全、更强大的下游模型，能在许多内分布分类、离群泛化和离群检测设置中表现出色。

Abstract

When evaluating the performance of a pre-trained model transferred to a downstream task, it is imperative to assess not only the in-distribution (ID) accuracy of the downstream model but also its capacity to gene

pre-trained model fine-tuning techniques ood samples reprogrammer downstream model

发现论文，激发创造

预训练语言模型对于领域外探测几乎完美是否需要微调？

本研究探究了直接利用预训练语言模型进行 Out-of-Distribution 检测的有效性，并证明了其近乎完美的检测性能，同时揭示了 Fine-tuning 和其在 ID 精度与 OOD 检测性能之间的平衡作用。

May, 2023

CRoFT：用于 OOD 泛化和开放集 OOD 检测的鲁棒微调和并发优化

本文提出了一种能够改善视觉 - 语言预训练模型（VL-PTMs）对闭集外分布数据的泛化能力，同时在微调期间有效检测开放集未知类别的目标函数方法。

May, 2024

Fine-Tuning 可以扭曲预训练特征且在超出分布时表现不佳

本文研究预训练模型在下游任务中的迁移方法，发现在预训练特征优秀且分布偏移较大的情况下，与全微调相比，线性探针能够获得更好的模型鲁棒性，同时，我们证明以固定或随机线性层初始化的全微调方法会导致模型在分布偏移下的错误率明显上升，而线性探针再进行全微调的策略则能够优化这一问题。

Feb, 2022

预训练变换器的对比分布外检测

本文提出了一种使用只有训练集数据的预训练 Transformer 进行无监督的离群检测方法，该方法使用对比度损失调整 Transformer。最终使用马哈拉诺比斯距离来检测异常数据，实验表明，本文方法的性能超过了基准线，并且更紧凑的表示方法是改进的基础。

Apr, 2021

微调损害了任务不相关特征，使得文本的跨类别检测变差

本论文探讨了文本 out-of-distribution detection 的方法在检测 semantic 和 non-semantic shifts 时存在的问题，并提出了一个简单有效的综合方法 GNOME，通过整合 task-agnostic 和 task-specific representations 的置信度得分来检测语义和非语义的偏移，实验证明 GNOME 在两个跨任务基准测试中表现出了明显的改进。

Jan, 2023

微调如何影响视觉语言模型的越界检测？

本文探讨了如何通过多模态概念匹配框架来评估诸如 CLIP 等最新视觉语言模型的 fine-tuning 方法对于少样本下游任务的超出分布检测性能的影响，并发现所选的 ODD 得分方法至关重要，MCM 得分方法表现最佳，prompt learning 在超出分布检测性能上表现最好。

Jun, 2023

MOODv2：面罩图像建模用于超出分布检测

主要研究了有效的离域检测的关键是获取一个稳健的域内表示，与离域样本有所区别；通过对不同的预训练任务和离域得分函数进行全面分析，发现通过重构预训练的特征表示显著增强了性能，并缩小了各个得分函数之间的性能差距。

Jan, 2024

预训练网络能否检测到熟悉的非分布数据？

揭示预训练模型在预训练算法视角下，外分布数据对外分布检测性能的影响，并提出利用实例间鉴别性特征空间独立于 ID 决策边界的方法解决预训练模型的脆弱性。

Oct, 2023

鲁棒语言模型的伪 OOD 训练

本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

Oct, 2022

汇集重构误差用于外部分布检测

本文提出了一种新的方法，即基于重构误差聚合探测器 (READ)，旨在通过同时使用分类器的不一致性和自动编码器的重构误差检测特定的 ID 和 OOD 样本，并且在预培训和重新培训两种情况下提出了两种变体。与先前的 OOD 检测算法相比，我们的方法不需要接触测试时间 OOD 数据来微调超参数，并且在对 CIFAR-10 进行广泛比较时，我们的方法将平均 FPR@95TPR 降低了高达 9.8％。

Jun, 2022