May, 2024

IB-AdCSCNet: 自适应卷积稀疏编码网络受信息瓶颈驱动

PDF
TL;DR本研究介绍了一种基于信息瓶颈理论的深度学习模型 IB-AdCSCNet，通过在梯度下降中动态调整交换参数 λ，优化压缩激发损失函数，实现压缩和拟合的最佳平衡。该模型不仅提供了一种一致性表现的模型，还融合了稀疏表示理论与深度学习的前沿视角。实验结果表明，IB-AdCSCNet 在处理受损数据时不仅能与深度残差卷积网络相媲美，而且还能表现更佳，并通过 IB 交换的推断显著增强了模型的稳健性。
发现论文，激发创造
  • 深度学习中信息瓶颈的更严格界限

    使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。

    Feb, 2024

  • 深度多视角子空间聚类的自监督信息瓶颈

    本论文从信息论的角度探讨了深度多视角子空间聚类的问题，提出了一种基于自我监督信息瓶颈的多视角子空间聚类框架，通过学习不同视图之间的共同信息以及视图特定的信息，有效提升了多视角子空间聚类的性能表现，并在真实数据上验证了其优越性。

    Apr, 2022

  • 应用信息瓶颈原理学习神经网络分类的表示

    通过研究使用信息瓶颈功能最小化来训练深度神经网络进行分类的理论论文，我们发现这种优化问题存在严重问题，方法包括使用随机神经网络、更加稳定的代价函数和设计直接实现所需属性的潜在表示的正则化项。

    Feb, 2018

  • Drop-Bottleneck: 学习离散压缩表示以实现鲁棒性噪声探索

    我们提出了一种名为 Drop-Bottleneck 的信息瓶颈方法，该方法可以离散地删除与目标变量无关的特征。Drop-Bottleneck 不仅具有简单易行的压缩目标，而且还提供确定性压缩表示，可用于需要一致表示的推理任务。此外，它可以同时学习特征提取器和考虑到目标任务与每个特征维度之间关系的特征选择，这是大多数基于神经网络的 IB 方法所无法达到的。我们提出了一种基于 Drop-Bottleneck 的探索方法，适用于强化学习任务。在 VizDoom 和 DMLab 中的众多嘈杂和奖励稀疏的迷宫导航任务中，我们的探索方法实现了最先进的性能。作为一种新的 IB 框架，我们证明了 Drop-Bottleneck 在多个方面包括对抗鲁棒性和降维方面均优于 Variational Information Bottleneck（VIB）（Alemi 等人，2017）。

    Mar, 2021

  • 因果信息瓶颈提升深度神经网络对抗性鲁棒性

    本文将因果推断应用于信息瓶颈方法中，通过仪器变量对特征进行分离，以减轻因虚假相关性导致的限制，提高对抗鲁棒性。大量实验结果表明，该方法在 MNIST、FashionMNIST 和 CIFAR-10 数据集中有明显的对抗攻击鲁棒性。

    Oct, 2022

  • 解缠结信息瓶颈

    本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

    Dec, 2020

  • 用于回归的 Cauchy-Schwarz 散度信息瓶颈

    本文研究回归问题下的信息瓶颈原理，并通过利用柯西 - 斯瓦茨散度的优势属性，采用深度神经网络参数化信息瓶颈。通过这种方法，避免了基于均方误差的回归和变分推理的假设，研究了我们提出的柯西 - 斯瓦茨信息瓶颈模型的改进泛化能力，展示了其在六个实际回归任务中相对于其他热门深度信息瓶颈方法的优越性能。

    Apr, 2024

  • 重新审视希尔伯特 - 施密特信息瓶颈在对抗鲁棒性中的应用

    通过加入 HSIC 瓶颈作为规范化器，我们通过增加每个中间层的正则化项，使潜在的表示保留输出预测的有用信息，同时减少冗余信息，并在理论和实验上证明了 HSIC 瓶颈增强了对抗性攻击的鲁棒性。

    Jun, 2021

  • 利用子图信息识别具有预测性的基础结构压缩模型

    通过引入信息瓶颈理论的设计，结合相似桥接原理和互信息估计式的互动，提出了一种新型的子图信息瓶颈架构来识别预测压缩的子图，成功去除了图数据中的噪音和冗余，具有高效和稳定性，得到了较好的优化结果和理论边界。

    Mar, 2021

  • 深度神经网络的信息瓶颈分析通过有损压缩

    该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

    May, 2023