Aug, 2019

HSIC 瓶颈：无需反向传播的深度学习

PDF
TL;DR介绍了使用 HSIC 瓶颈训练深度神经网络，它可以缓解爆炸和消失梯度的问题，实现了在没有跳跃连接的情况下学习非常深的网络，而且在不需要对称反馈或更新锁定的情况下，可以获得 MNIST / FashionMNIST / CIFAR10 分类等优异的性能。同时，使用 SGD 训练单独的一层可以进一步提高性能。
hsic bottleneckdeep neural networksgradient problemsclassificationsgd
发现论文，激发创造
  • 重新审视希尔伯特 - 施密特信息瓶颈在对抗鲁棒性中的应用

    通过加入 HSIC 瓶颈作为规范化器，我们通过增加每个中间层的正则化项，使潜在的表示保留输出预测的有用信息，同时减少冗余信息，并在理论和实验上证明了 HSIC 瓶颈增强了对抗性攻击的鲁棒性。

    Jun, 2021

  • 自编码架构中的依赖瓶颈：一项实证研究

    研究通过使用 Hilbert-Schmidt 独立准则（HSIC）作为依赖度量来测量 DNN 中图层之间的依赖关系，从而更准确地研究 DNN 中的信息瓶颈和泛化特性，并在实验中评估了该方法在 auto-encoding 的应用。

    Feb, 2018

  • 通过 HSIC-Bottleneck 正交化和等角嵌入实现持续学习饥饿规范

    通过层次参数覆盖和由此引起的决策边界畸变，该方法通过 HSIC-Bottleneck 正交化和 EquiAngular 嵌入实现非覆盖参数更新和旧任务与新任务之间的决策边界适应，从而在没有缓冲区的情况下实现了竞争性准确性表现。

    Jan, 2024

  • 希尔伯特 - 施密特独立准则下的强健学习

    使用 HSIC 作为损失函数学习鲁棒回归和分类模型，以期望产生具有良好概括性能力的模型用于处理无监督共变量漂移任务，实验表明其优于标准损失函数取得最新成果。

    Oct, 2019

  • DualHSIC：连续学习中的 HSIC 瓶颈和对齐

    提出了一种新的基于回顾的连续学习方法 DualHSIC，通过恰当利用任务间关系，从任务特异性和任务不变性的角度提高模型性能，实现了对现有基于回顾的方法的补充和改进。

    Apr, 2023

  • 核最大化依赖下的自主学习

    本研究从统计相关性的角度探讨自我监督学习方法，提出了一种基于 Hilbert-Schmidt 独立性准则（SSL-HSIC）的自我监督学习方法，该方法最大化与图像表示转换和图像身份的相关性，并将那些表示的核化方差最小化。实验表明，该方法在 ImageNet 数据集上的表现可以匹敌当前的最佳方法。

    Jun, 2021

  • 条件熵瓶颈

    我们提出了评估模型质量的最小必要信息 (MNI) 准则，训练与该准则相对应的新的目标函数 Conditional Entropy Bottleneck (CEB) 模型以及比较该模型与确定性模型和变分信息瓶颈 (VIB) 模型表现的实验结果支持了我们关于机器学习中鲁棒泛化失败的假设。

    Feb, 2020

  • IB-AdCSCNet: 自适应卷积稀疏编码网络受信息瓶颈驱动

    本研究介绍了一种基于信息瓶颈理论的深度学习模型 IB-AdCSCNet，通过在梯度下降中动态调整交换参数 λ，优化压缩激发损失函数，实现压缩和拟合的最佳平衡。该模型不仅提供了一种一致性表现的模型，还融合了稀疏表示理论与深度学习的前沿视角。实验结果表明，IB-AdCSCNet 在处理受损数据时不仅能与深度残差卷积网络相媲美，而且还能表现更佳，并通过 IB 交换的推断显著增强了模型的稳健性。

    May, 2024

  • 通过高阶 HSIC 以递增的信息学习非参数 DAGs

    通过确定一组父节点的可识别性条件，本文提出了一种基于最优调整算法的学习贝叶斯网络的方法，使用 Hilbert-Schmidt 独立性准则进行优化问题，证明了高阶 HSIC 的增量属性，实验证明该算法在不同合成数据集和实际数据集上优于现有方法，在 Sigmoid 混合模型中，算法的结构干预距离（SID）比 CAM 算法小 329.7，表明该算法对图的估计缺少的边更少。

    Aug, 2023

  • 深度神经网络的信息瓶颈分析通过有损压缩

    该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

    May, 2023