Feb, 2023

通过插值正交特征进行样本高效的域适应

PDF
TL;DR本文提出了一种名为 Pro$^2$ 的轻量、样本高效的方法，通过将预训练嵌入映射到正交方向来学习多样的预测特征，并在小目标数据集上适应目标分布。在多个数据集上的试验表明，与标准线性探测等先前方法相比，Pro$^2$ 提高了 5-15% 的性能。
robustnesscausal featuresshortcut featuresdistribution shiftlinear probing
发现论文，激发创造
  • 面向原型的无监督领域自适应框架

    提出了一种高效的概率框架，用于提取类别原型并将目标特征与其对齐，进而解决当前无监督域自适应方法中的采样可变性、类别不平衡和数据隐私问题，该方法适用于多种场景，包括单一源域，多源域，类别不平衡和源隐私域自适应，无需额外模型参数且计算量适中，在性能上达到了与现有最先进方法相媲美的水平。

    Oct, 2021

  • 通过 Moment Probing 调整预训练模型

    我们提出了一种新的 Moment Probing (MP) 方法，通过特征分布上的线性分类器，利用特征中更丰富的统计信息来进一步探索 LP 的潜力，并通过多头卷积交叉协方差（MHC^3）以高效有效的方式计算二阶矩。通过在十个基准测试上进行广泛实验，我们的 MP 在少量训练成本下显著优于 LP，并且我们的 MP + 达到了最先进的性能。

    Jul, 2023

  • 基于原型多层学习的半监督域自适应

    本文提出了一种基于多级原型学习的半监督域自适应框架，采用伪标签聚合和交叉域对齐损失方法，以及通过原型相似度和线性分类器提升目标特征表示的判别性学习，实现了在三个数据集上卓越的 SSDA 性能。

    May, 2023

  • 特征对齐：在预训练模型背景下重新思考有效主动学习的代理

    通过代理模型选择方法、保留有价值的预训练信息整体提高了高效主动学习的总成本和计算效率。

    Mar, 2024

  • 基于渐进式数据扩展的强健学习：对抗伪相关性

    本文对深度学习算法中非通用虚假特征的问题进行了研究，提出了一种名为 PDE 的新的训练算法，提高了模型的鲁棒性和最坏组表现，平均比现有的最先进技术提高了 2.8% 的最坏组准确性，同时具有高达 10 倍的训练效率。

    Jun, 2023

  • 利用中间表示进行更好的迁移学习：Head2Toe

    本文介绍了一种名为 Head-to-Toe probing（Head2Toe）的新型迁移学习方法，在 VTAB-1k 数据集上通过选择源模型所有层的特征进行目标领域的分类，能够在保证模型性能的情况下将训练和存储成本大幅度降低，并且对于分布外迁移，Head2Toe 方法优于微调。

    Jan, 2022

  • 基于校准的双原型对比学习方法在领域泛化的语义分割中的应用

    提出了一种基于校准的双原型对比学习方法，用于减少学习类别无关特征与不同域原型之间的域差异，对于域泛化语义分割，通过不确定性引导的对比学习和加权对比学习来校准原型权重，实验证明该方法在域泛化语义分割任务上具有优越性能。

    Sep, 2023

  • 利用近似共享特征连接领域

    多源领域适应中的特征选择以及基于方差相关性的统计框架，通过学习过程提取近似共享特征，达到解决多源适应中优化策略的目的。

    Mar, 2024

  • 基于预训练特征的受限自适应投影异常检测

    本文提出一种基于预训练特征的异常检测框架 (CAP)，该框架通过线性投影头将输入数据和最相似的预训练正常数据匹配，并采用改进的自注意力机制挖掘单类语义特征之间的内在关系，以避免潜在的模式折叠问题，实现了语义异常检测和感知异常检测基准上的最优性能，如 CIFAR-100 数据集上的 96.5％ AUROC，CIFAR-10 数据集上的 97.0％ AUROC 和 MvTec 数据集上的 89.9％ AUROC。

    Dec, 2021

  • 使用特征扭曲和简洁偏好进行模型适应的深入研究

    本文研究基于已有模型的迁移学习，并探究了现有协议在简单特征偏好方面的易感性，提出了可缓解简单特征偏好的改进线性探针，以改善模型初始化并提高模型性能。

    Mar, 2023