分层稳健表示学习

CVPRNov, 2019

Hierarchically Robust Representation Learning

Qi Qian, Juhua Hu, Hao Li

TL;DR本研究探讨了深度学习中中间层所提取的深层特征，并证明了这些特征的性能可能不佳，因为它们是通过最小化经验风险来学习的。针对当前任务与基准数据集的数据分布不同的情况，本研究提出了一种层次稳健优化方法来学习更通用的特征。该方法同时考虑了 example-level 与 concept-level 稳健性，并将问题公式化为带有 Wasserstein 模糊集约束的分布稳健优化问题。本文提出了一种高效的算法，并在标杆数据集上进行了实验，证明了稳健特征的有效性。

Abstract

With the tremendous success of deep learning in visual tasks, the representations extracted from intermediate layers of learned models, that is, deep features, attract much attention of researchers. Previous empi

deep learning deep features empirical risk optimization method wasserstein ambiguity set constraints

发现论文，激发创造

对抗稳健性作为学习表示的先验

本研究表明，鲁棒优化可以被重新定义为对深度神经网络学习特征的先验约束，经过鲁棒模型学习的特征表示方法能够解决标准神经网络表示方法的缺陷，并显著提高了高水平的输入编码能力。同时，这些特征表示方法具有相对可逆性，允许直接可视化和操纵输入的显著特征，提示使用对抗性鲁棒性来改善学习表示方法的可行性。

Jun, 2019

在伪相关存在的情况下的特征学习

通过评估使用权重调整、强正则化和组鲁棒性训练等方法训练的模型，重训练模型的方法在多个视觉和 NLP 问题中表现出与其他方法相似的结果，表明无需过度正则化即可学习高质量的特征表示。

Oct, 2022

分层体系结构中不变表示的无监督学习

我们提出了一种基于无监督自动学习的方法，可以学习出具有小样本复杂度的好的表示方法，在视觉对象识别等领域可以得到应用。通过无监督学习期间存储的一组模板，可以对每个图像块计算一种不变而又唯一的（有区分性的）签名，从而从很少的有标记例子中学习图像识别。

Nov, 2013

通过鲁棒特征提取理解深度网络的故障

本文介绍并研究了一种方法，旨在通过识别导致模型失败的视觉特征，对学习模型的传统评估方法进行补充，从而更好地表现重要和有益的失败模式。作者进一步提出了一种可视化方法用于帮助人们理解这些特征的含义，并在 ImageNet 数据集上进行了评估，结果表明：这种方法是发现重要的失败模式的有效方法，可视化技术有助于人们理解提取的特征，提取的洞见可以帮助工程师进行错误分析和调试。

Dec, 2020

在深层特征空间中区分图像失真

本文探讨深度视觉表示能力在不同类型图像畸变中的表现，通过分析不同深度神经网络层所提取的特征，证明不同网络层具备分离不同畸变类型的能力，并评估特征在图像质量评估和畸变特征和严重性级别刻画上的应用，结果表明深度视觉表示具有有效地表征各种图像畸变的能力。

Feb, 2020

通过逐层特征压缩和差异化理解深度表示学习

通过研究深度线性网络的中间特征，本文量化揭示了特征在层级表示中的演化规律，证明线性网络的每一层以几何速率压缩类内特征，与通过数据的层数线性关系的方式区分类间特征，这不仅在深度非线性网络中得到验证，而且在迁移学习中具有实际应用意义。

Nov, 2023

应对子群体稀缺的分布自适应优化与不变表示学习：机制与局限

通过全面的评估研究，我们首先展示了在医学图像分类中，当偏见不是性能不佳的唯一原因时，对于表现不佳样本的泛化再加权可能存在问题，同时也表明了朴素的不变表示学习在自身存在虚假相关性时也存在问题。然后，我们提出了一种新的方法，利用鲁棒优化来促进在存在虚假相关性的情况下学习不变表示。利用这种表示进行微调的分类器展示了减少子组群性能差异的能力，同时保持了较高的平均性能和最差组群性能。

Aug, 2023

野外细粒度图像分类

本文从层次知识入手，进行细粒度分类实验，验证模型在此类型下的稳健性，并通过其他方法解释和评估模型的错误分类行为。

Mar, 2023

长尾学习的分布鲁棒性损失

本文提出了一种基于鲁棒性理论的新型损失函数，旨在解决深度模型在处理不平衡数据时的分类偏差问题，从而提高对于长尾类别的识别准确性。在多项基准测试中，通过降低特征空间中头类别的表示偏差，该方法相较于已有方法以及 SOTA 方法均得到了更好的效果。

Apr, 2021

深度 ReLU 网络中的深度选取对特征提取和泛化的影响

本文旨在量化特征提取和泛化中深度与特征之间的对应关系，通过展示提取单一特征和复合特征的深度 - 参数权衡表明特征对深度的适应性和相反情况，并证明在深度网络上实现经典的经验风险最小化可实现多种学习任务的最优泛化性能，其理论结果通过一系列数字实验进行了验证。

Apr, 2020