Jun, 2021

重新审视希尔伯特 - 施密特信息瓶颈在对抗鲁棒性中的应用

PDF
TL;DR通过加入 HSIC 瓶颈作为规范化器，我们通过增加每个中间层的正则化项，使潜在的表示保留输出预测的有用信息，同时减少冗余信息，并在理论和实验上证明了 HSIC 瓶颈增强了对抗性攻击的鲁棒性。
hsic bottleneckadversarially robustdeep neural networkregularizeradversarial attacks
发现论文，激发创造
  • HSIC 瓶颈：无需反向传播的深度学习

    介绍了使用 HSIC 瓶颈训练深度神经网络，它可以缓解爆炸和消失梯度的问题，实现了在没有跳跃连接的情况下学习非常深的网络，而且在不需要对称反馈或更新锁定的情况下，可以获得 MNIST / FashionMNIST / CIFAR10 分类等优异的性能。同时，使用 SGD 训练单独的一层可以进一步提高性能。

    Aug, 2019

  • 自编码架构中的依赖瓶颈：一项实证研究

    研究通过使用 Hilbert-Schmidt 独立准则（HSIC）作为依赖度量来测量 DNN 中图层之间的依赖关系，从而更准确地研究 DNN 中的信息瓶颈和泛化特性，并在实验中评估了该方法在 auto-encoding 的应用。

    Feb, 2018

  • 信息瓶颈结合奇异正则化改进模型的对抗鲁棒性

    通过奇异值分解将图像分解为多个矩阵，对不同攻击的敌对信息进行分析，提出一种新的模块来规范敌对信息，并结合信息瓶颈理论实现中间表示的理论限制，从而提高模型的鲁棒性。

    Dec, 2023

  • 希尔伯特 - 施密特独立准则下的强健学习

    使用 HSIC 作为损失函数学习鲁棒回归和分类模型，以期望产生具有良好概括性能力的模型用于处理无监督共变量漂移任务，实验表明其优于标准损失函数取得最新成果。

    Oct, 2019

  • 通过强健信息瓶颈提取强健精准特征

    提出了一种用于在监督学习中提取特征的新策略，该方法在信息瓶颈的基础上引入了一个额外的惩罚项来鼓励提取的特征的 Fisher 信息在参数化输入时变小，从而实现分类器的更好鲁棒性。

    Oct, 2019

  • IB-AdCSCNet: 自适应卷积稀疏编码网络受信息瓶颈驱动

    本研究介绍了一种基于信息瓶颈理论的深度学习模型 IB-AdCSCNet，通过在梯度下降中动态调整交换参数 λ，优化压缩激发损失函数，实现压缩和拟合的最佳平衡。该模型不仅提供了一种一致性表现的模型，还融合了稀疏表示理论与深度学习的前沿视角。实验结果表明，IB-AdCSCNet 在处理受损数据时不仅能与深度残差卷积网络相媲美，而且还能表现更佳，并通过 IB 交换的推断显著增强了模型的稳健性。

    May, 2024

  • DualHSIC：连续学习中的 HSIC 瓶颈和对齐

    提出了一种新的基于回顾的连续学习方法 DualHSIC，通过恰当利用任务间关系，从任务特异性和任务不变性的角度提高模型性能，实现了对现有基于回顾的方法的补充和改进。

    Apr, 2023

  • 通过 HSIC-Bottleneck 正交化和等角嵌入实现持续学习饥饿规范

    通过层次参数覆盖和由此引起的决策边界畸变，该方法通过 HSIC-Bottleneck 正交化和 EquiAngular 嵌入实现非覆盖参数更新和旧任务与新任务之间的决策边界适应，从而在没有缓冲区的情况下实现了竞争性准确性表现。

    Jan, 2024

  • IB-RAR: 信息瓶颈作为对手鲁棒性的正则化器

    本文将信息瓶颈理论引入对抗训练和非对抗训练方法，以加强其鲁棒性，在损失函数中设计了正则化器作为学习目标，并根据特征与标签间的互信息来过滤中间表示的无用特征。实验结果表明，该方法能够与对抗性训练自然结合，提供更好的鲁棒性。

    Feb, 2023

  • 核最大化依赖下的自主学习

    本研究从统计相关性的角度探讨自我监督学习方法，提出了一种基于 Hilbert-Schmidt 独立性准则（SSL-HSIC）的自我监督学习方法，该方法最大化与图像表示转换和图像身份的相关性，并将那些表示的核化方差最小化。实验表明，该方法在 ImageNet 数据集上的表现可以匹敌当前的最佳方法。

    Jun, 2021