Oct, 2023

FD-Align: 特征辨别对齐用于预训练模型在少样本学习中的微调

PDF
TL;DR通过细化预训练模型和引入 Feature Discrimination Alignment 方法，本研究能够显著提高 few-shot 学习中的泛化能力，从而在进一步任务中实现性能的优化。
few-shot learningpre-trained modelsfine-tuninggeneralizabilityfeature discrimination alignment
发现论文，激发创造
  • 特征蒸馏 Fine-tuning 中，对比学习与图像遮盖模型不相上下

    研究发现通过简单的特征蒸馏，可以极大地提高预训练方法的微调性能，使其与基于遮挡图像模型的方法一样强大，在从事未来研究时，可以更加注重学习表示的普适性和可扩展性，而不需要过分关注其优化的友好性。

    May, 2022

  • 领域感知微调：增强神经网络的适应性

    本文介绍了 Domain-Aware Fine-Tuning (DAFT) 的方法，该方法通过批量归一化转换和线性探测与微调的集成来有效减轻特征扭曲，并在分布和非分布数据集上实现了改进的模型性能。

    Aug, 2023

  • 元滤波器学习动态对齐以用于少样本学习

    本文提出了一种基于动态对齐的特征调整方法，从视觉识别的角度解决了 few-shot learning 的问题，采用神经常微分方程技术，使模型能更好地捕捉少量样本的微粒子级别的语义上下文，大幅提高了在 miniImageNet 和 tieredImageNet 数据集上的识别准确率。

    Mar, 2021

  • 通过组合特征对齐增强组合泛化能力

    在实际的机器学习模型应用中，数据分布的变化常常导致训练数据和测试数据之间存在差异。在常见的多领域多类别设置中，随着类别和领域数量的增加，无法为每个领域 - 类别组合收集足够的训练数据。为了解决这一挑战，我们提出了一个名为 CG-Bench 的测试套件，该测试套件基于现有的真实图像数据集，发现了一种名为 Compositional Feature Alignment (CFA) 的两阶段模型微调技术，它可以促进预训练模型的组合特征学习。实验结果表明，CFA 在组合泛化方面优于常见的微调技术，证实了 CFA 在组合特征学习中的有效性。

    Feb, 2024

  • Fine-Tuning 可以扭曲预训练特征且在超出分布时表现不佳

    本文研究预训练模型在下游任务中的迁移方法，发现在预训练特征优秀且分布偏移较大的情况下，与全微调相比，线性探针能够获得更好的模型鲁棒性，同时，我们证明以固定或随机线性层初始化的全微调方法会导致模型在分布偏移下的错误率明显上升，而线性探针再进行全微调的策略则能够优化这一问题。

    Feb, 2022

  • 如何以少量样本微调模型：更新，数据增强和测试时间增强

    本研究基于转移学习方法探究预训练模型在少样本学习任务下的迁移，比较全微调和线性探测两种常用的更新方法，并研究数据增强和测试时间增强对少样本性能的影响。结果表明，针对不同的数据和任务性质选择不同的迁移和增强方法能提高多样性能。

    May, 2022

  • 微调如何影响视觉语言模型的越界检测？

    本文探讨了如何通过多模态概念匹配框架来评估诸如 CLIP 等最新视觉语言模型的 fine-tuning 方法对于少样本下游任务的超出分布检测性能的影响，并发现所选的 ODD 得分方法至关重要，MCM 得分方法表现最佳，prompt learning 在超出分布检测性能上表现最好。

    Jun, 2023

  • 基于联想和区分的小样本物体检测

    该研究提出了一种基于联想和区分的两步式微调框架（FADI），以构建每种新类别的区分特征空间，并在 Pascal VOC 和 MS-COCO 数据集上进行广泛实验，取得了显著的成果。

    Nov, 2021

  • AlignDet: 对象检测中的预训练和微调对齐

    通过解决数据、模型和任务之间的差异，AlignDet 提出了一种统一预训练框架，可以适应各种现有的检测器，提高检测器的性能、泛化能力和收敛速度。

    Jul, 2023

  • 视觉 - 语义对比对齐在小样本图像分类中的应用

    本文介绍了一种对称的对齐机制，用于学习从极少的例子中获取更广义的视觉概念的方法。实验结果表明，该方法是通用的，并提供了一个强大的基准。

    Oct, 2022