Nov, 2019

分层稳健表示学习

HTML
PDF
TL;DR本研究探讨了深度学习中中间层所提取的深层特征，并证明了这些特征的性能可能不佳，因为它们是通过最小化经验风险来学习的。针对当前任务与基准数据集的数据分布不同的情况，本研究提出了一种层次稳健优化方法来学习更通用的特征。该方法同时考虑了example-level与concept-level稳健性，并将问题公式化为带有Wasserstein模糊集约束的分布稳健优化问题。本文提出了一种高效的算法，并在标杆数据集上进行了实验，证明了稳健特征的有效性。
发现论文，激发创造
  • 高维数据的最大信息层次表示

    本研究介绍了一种基于概率函数的输入变量表示方法，并提出如何量化各层对原始数据信息提取的贡献，并应用于深度表示的无监督学习，具有可实施性和科学性。

    Oct, 2014

  • 鲁棒性深度表征的信息论学习

    本文提出一种基于信息论的学习鲁棒性深度表示的新颖目标函数，通过将数据投影到特征矢量空间，最大化相对于监督信号的所有特征子集的互信息，得到鲁棒表示，其对噪声或不可用特征的信息保留能力较强，我们利用一种替代目标函数最小化的方式实现此目标函数并进行实验验证。

    May, 2019

  • 通过最差情况的互信息最大化学习对抗鲁棒表现

    本文研究了在最坏情况下，表示脆弱性与最小敌对风险之间的下界关系，并提出了一种基于最坏情况下的相互信息最大化的无监督学习方法来获得内在具有鲁棒性的表示，并通过下游分类任务的实验证明了所得到的具有鲁棒性的表示。

    Feb, 2020

  • 长尾学习的分布鲁棒性损失

    本文提出了一种基于鲁棒性理论的新型损失函数，旨在解决深度模型在处理不平衡数据时的分类偏差问题，从而提高对于长尾类别的识别准确性。在多项基准测试中，通过降低特征空间中头类别的表示偏差，该方法相较于已有方法以及SOTA方法均得到了更好的效果。

    Apr, 2021

  • 计算机视觉深度学习方法的非对抗性鲁棒性

    本论文简要概述了提高计算机视觉模型稳健性的最新技术，以及用于评估模型性能的常用鲁棒性基准数据集，并审视了所审查方法的优点和局限性，鉴别了深度学习稳健性改进的一般趋势。

    May, 2023

  • 高效提升预训练模型的鲁棒性

    使用知识转移方法，将较小模型的鲁棒性迁移到大规模网络中，提高大规模模型的性能和鲁棒性。

    Sep, 2023

  • 通过非对称负对比和反向注意力实现鲁棒表征学习

    深度神经网络容易受到对抗性噪声的攻击。为了解决这个问题，我们提出了一种通用的对抗训练框架来获得稳健的特征表达，通过非对称负对比度和反向注意力来推动不同类别的特征在特征空间中远离，并通过线性分类器参数对特征进行加权以获得类别感知的特征并将相同类别的特征相互靠近。经过在三个基准数据集上的实证评估，我们的方法大大提高了对抗训练的鲁棒性并实现了最先进的性能。

    Oct, 2023

  • 通过逐层特征压缩和差异化理解深度表示学习

    通过研究深度线性网络的中间特征，本文量化揭示了特征在层级表示中的演化规律，证明线性网络的每一层以几何速率压缩类内特征，与通过数据的层数线性关系的方式区分类间特征，这不仅在深度非线性网络中得到验证，而且在迁移学习中具有实际应用意义。

    Nov, 2023

  • 层次化的选择性分类

    部署深度神经网络用于风险敏感任务需要一个不确定性估计机制。本文介绍了分层选择分类，将选择分类扩展到分层环境中。我们的方法利用类别关系的固有结构，使模型在面临不确定性时减少其预测的特异性。本文首先形式化了分层风险和覆盖，并介绍了分层风险覆盖曲线。接下来，我们开发了针对分层选择分类的算法（也称为“推理规则”），并提出了一种能够以高概率保证目标准确性约束的高效算法。最后，我们对一千多个ImageNet分类器进行了大量的实证研究，揭示了诸如CLIP、ImageNet21k预训练和知识蒸馏等训练制度提升了分层选择性能。

    May, 2024

  • 表征学习中的鲁棒性再编程

    本研究解决了表征学习中的一个重要挑战，即在不改变参数的情况下，如何重编程已训练好的深度学习模型以增强其对对抗性或噪声输入的鲁棒性。提出了一种新的非线性鲁棒模式匹配技术，并引入三种模型再编程范式，以适应不同的鲁棒性需求。这项工作的实验结果显示了其在提升深度学习对抗性防御和设计更具弹性的AI系统方面的潜在影响。

    Oct, 2024