ICLRFeb, 2024

跨架构的零样本泛化视觉分类

PDF
TL;DR深度网络的概括性是未见数据的关键要求，但其与分类准确性的关系尚不清楚。使用极简的视觉数据集和一种概括能力度量，我们展示了受欢迎的网络，从深度卷积网络（CNN）到 Transformer，在层级和体系结构的不同方面对未见类别的外推能力存在差异。准确性不能很好地预测概括能力，并且概括能力与层级深度变化的关系是非单调的。
发现论文，激发创造
  • 基于可分离性的泛化量化方法：哪一层最佳？

    评估深度学习模型在新颖数据上的泛化能力，通过对神经网络各层的性能评估，发现高分类准确性并不意味着高泛化能力，深层网络不总是最好的泛化模型，对模型不同层的泛化能力进行了探讨。

    May, 2024

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 深度神经网络在三维泛化中的特性探究

    本文旨在研究和描述深度学习模型对于目标在不同旋转角度下的 2D 图像是否能够进行准确分类，探讨了三种通用的模型 (3D 通用、纯 2D 匹配和基于视角线性组合匹配) 在模型泛化性方面的表现，其中可以发现深度模型泛化能力强，但是其实现方式与这些现有模型不同。

    Apr, 2023

  • 单目深度估计神经网络结构的普适性研究

    通过广泛实验，我们观察到 Transformer 模型表现出强的形状偏见，而 CNN 模型则表现出强的纹理偏见，并且发现纹理偏见的模型比形状偏见的模型在单目深度估计中表现更差，同时进行了各种背骨网络的密集消融研究，实验证明 CNN 和 Transformer 的内在局部性会引入纹理偏见和形状偏见。

    Jan, 2023

  • 深度神经网络中可训练性和泛化能力的分离

    本文通过分析神经核算法的光谱，提供了对于训练和推广条件的表征，特别地，在讨论极深和宽的神经网络时，发现神经核数仅仅维持有限的数据相关性，并考虑各种网络模型在很大的超参数空间区域内训练集过度拟合而且通常无法推广；同时，与深度神经网络及其卷积形式的全局平均池化相关的理论和实验结果得到了分析。

    Dec, 2019

  • 深度神经网络可以学习可推广的同异视觉关系

    经过深度神经网络的训练和微调，预训练的变换器可以学习到具有几乎完美准确度的在分布之外的同异关系，尤其针对缺乏纹理或颜色的抽象形状训练的模型表现最佳。

    Oct, 2023

  • 通过可视化理解泛化

    本研究探讨神经网络的泛化能力及其背后的原因，通过可视化方法探寻损失景观的几何形状和高维度导致的最优化问题，旨在更加直观地解释泛化现象。

    Jun, 2019

  • 多级注意力 CNNs 用于领域泛化

    本文提出了一种针对领域泛化问题的替代神经网络结构，该结构可以关注卷积神经网络的多个层次，利用可训练的注意机制来实现鲁棒的数据分类，同时在已有的四项领域通用基准测试中表现良好。

    Apr, 2023

  • Few-shot 分类的深入探究

    这篇论文介绍了几种代表性的 few-shot 分类算法的一致性比较分析，包括修改的基准线方法，新的评估设置等，并揭示了在 backbones 网络较深时，减少类内变异是一个重要的因素，但与使用较浅的 backbones 网络时不太重要的结论。在现实的跨域评估设置中，我们展示了一种标准的微调实践的基准方法与其他最先进的 few-shot 学习算法相比的优越性。

    Apr, 2019

  • ConvNet 与 Transformer，监督学习与 CLIP：超越 ImageNet 准确度

    针对计算机视觉中模型选择的挑战性，本研究通过对比分析不同模型关于 ImageNet 准确性以外的行为表现，揭示了模型在误差类型、输出校准、迁移性和特征不变性等方面的多样性特征，强调在选择不同模型时需进行更细致的分析。

    Nov, 2023