May, 2023

SFP: 针对虚假特征的剪枝用于跨分布泛化

PDF
TL;DR本文提出了一种新的模型剪枝框架 SFP，能够自动探索不变的子结构，以实现最佳的 OOD 泛化，并且还通过详细的理论分析提供了合理性保证和证明框架，揭示了高度偏差的数据分布如何影响模型的 OOD 泛化。
model substructure learningspurious feature-targeted model pruningood generalizationinvariant featuresbiased data distribution
发现论文，激发创造
  • 子网络结构是否是超出分布泛化的关键？

    本文研究了深度模型在无法识别的数据集上的偏见及其缓解策略，提出了一种名为 Modular Risk Minimization 的算法，通过学习子网络结构来提高模型对未知数据的泛化性能。

    Jun, 2021

  • 探索特征学习在越界泛化中的作用

    通过理论研究发现，EMR 本质上学习了误差特征和不变特征，并且在 EMR 预训练期间学习的特征质量显着影响了最终的 OOD 性能。为了解决这个问题，我们提出了特征增强训练（FAT），通过保留已经学习到的特征并增加新的特征来强制模型学习所有有用的特征，并在不同子集的训练数据上执行保留和增强操作。广泛的实验表明，当应用于各种目标时，FAT 有效地学习更丰富的特征并持续改善 OOD 性能。

    Apr, 2023

  • 通过解耦风格和伪特征实现不变的表示学习

    针对存在样式分布偏移和虚假特征以及缺失域标签的超域泛化问题，本文提出了一种新的框架 IRSS，并通过引入对抗神经网络和多环境优化逐渐将样式分布和虚假特征从图像中分离，实现超域泛化。实验证明 IRSS 优于传统的超域方法，并解决了不变风险最小化（IRM）退化问题，从而实现了在分布迁移下提取不变特征。

    Dec, 2023

  • 通过刺激训练增强稀疏化

    基于稀疏化剪枝的研究中，我们提出了一种增强稀疏化范式的结构化剪枝框架 (STP)，通过自蒸馏的方式维持被剪枝权重的大小并增强保留权重的表现力。此外，为了找到最优的剪枝网络架构，我们采用了多维架构空间和知识蒸馏引导的探索策略，同时使用子网变异扩展技术来减小蒸馏的容量差距。大量实验证明了 STP 的有效性，特别是在极度激进的剪枝情况下，例如在 ImageNet 上对 ResNet-50 进行剪枝，保持 95.11% 的 Top-1 准确率（从 76.15% 减少 85% 的浮点操作）。

    Mar, 2024

  • 稳健半监督学习的分布外语义修剪

    本文提出了一种新的架构，称之为 OOD Semantic Pruning（OSP），旨在将 Out-of-Distribution（OOD）数据从 In-Distribution（ID）数据中剪除，从而缓解数据语义层面上的污染问题，提升半监督学习的鲁棒性能。该方法经过实验证明，在各项基准测试中表现出色，超越了之前的最佳结果。

    May, 2023

  • 学习可推广到分布外的模块化结构

    本文提出一种针对机器学习系统中的 O.O.D. generalization 挑战的方法，通过训练鼓励模型仅保留在多个训练领域中被很好地重用的网络特征，结合两种互补的神经元级约束器和网络上的可微分二进制蒙版，提取模块化子网络以达到更好的 O.O.D. 性能。初步评估在两个基准数据集上证实了我们方法的优势。

    Aug, 2022

  • CR-SFP：学习一致表示用于软滤波器裁剪

    CR-SFP 是一种简单而有效的训练框架，通过学习一致的表示来改善软过滤器修剪后的模型准确性，同时减少网络的计算复杂度，适用于各种 CNN 架构。

    Dec, 2023

  • 虚假特征多样化提高离域泛化

    通过理论分析和实证研究，我们发现在处理超越分布数据的机器学习任务中，利用多样的偶然特征进行加权模型集成可以显著提高整体的超越分布泛化性能，而不同于传统观点所认为的学习不变特征的方法。此外，我们提出了一种名为 BAlaNced averaGing (BANG) 的方法，可以有效修复原有方法 WiSE-FT 在超越分布情况下的过度自信问题，进一步提升其超越分布性能。

    Sep, 2023

  • 特征统计指导的高效滤波器剪枝

    本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。

    May, 2020

  • 在伪相关存在的情况下的特征学习

    通过评估使用权重调整、强正则化和组鲁棒性训练等方法训练的模型，重训练模型的方法在多个视觉和 NLP 问题中表现出与其他方法相似的结果，表明无需过度正则化即可学习高质量的特征表示。

    Oct, 2022