ICLRApr, 2018

使用深度 Copula 信息瓶颈学习稀疏潜在表示

PDF
TL;DR本论文提出了一种改进的深度信息瓶颈模型，通过应用 copula 变换解决了其短处，实现了特征的解耦和稀疏性，并在人工数据和真实数据上进行了评估。
deep latent variable modelsdeep information bottleneck modelcopula transformationdisentanglementsparsity
发现论文，激发创造
  • RevUp：为事件表示修订和更新信息瓶颈

    为了利用有可能是嘈杂或缺失的边缘信息，我们提出了一种基于半监督信息瓶颈离散隐变量模型。我们使用辅助连续隐变量和轻量级分层结构重新参数化模型的离散变量，以最小化已观测数据和未被新辅助变量捕获的可选边缘知识之间的互信息，并在事件建模上进行经验研究，并与强实验结果协作我们的理论结果。

    May, 2022

  • 通过强健信息瓶颈提取强健精准特征

    提出了一种用于在监督学习中提取特征的新策略，该方法在信息瓶颈的基础上引入了一个额外的惩罚项来鼓励提取的特征的 Fisher 信息在参数化输入时变小，从而实现分类器的更好鲁棒性。

    Oct, 2019

  • Drop-Bottleneck: 学习离散压缩表示以实现鲁棒性噪声探索

    我们提出了一种名为 Drop-Bottleneck 的信息瓶颈方法，该方法可以离散地删除与目标变量无关的特征。Drop-Bottleneck 不仅具有简单易行的压缩目标，而且还提供确定性压缩表示，可用于需要一致表示的推理任务。此外，它可以同时学习特征提取器和考虑到目标任务与每个特征维度之间关系的特征选择，这是大多数基于神经网络的 IB 方法所无法达到的。我们提出了一种基于 Drop-Bottleneck 的探索方法，适用于强化学习任务。在 VizDoom 和 DMLab 中的众多嘈杂和奖励稀疏的迷宫导航任务中，我们的探索方法实现了最先进的性能。作为一种新的 IB 框架，我们证明了 Drop-Bottleneck 在多个方面包括对抗鲁棒性和降维方面均优于 Variational Information Bottleneck（VIB）（Alemi 等人，2017）。

    Mar, 2021

  • 通过多视角信息瓶颈学习强大的表示

    本文提出了基于信息瓶颈原理的多视角无监督学习方法，通过对同一实体的两个视角进行对比得出冗余信息，进而定义新的多视角模型，在 Sketchy 数据集和 MIR-Flickr 数据集的标签受限版本上取得了最先进的结果；此外还通过数据扩增技术将理论扩展至单视角情况，实验证明更具有良好的泛化能力。

    Feb, 2020

  • 深度表征中的不变性和分解性的出现

    使用统计和信息理论的已建立原则，我们展示了深度神经网络中对无关因素的不变性等同于学习表示的信息最小性，而叠加层和在训练期间注入噪声自然偏向于学习不变表示。我们进一步分解了训练过程中使用的交叉熵损失，强调了内在的过拟合项。我们提出通过两种等效方式来限制这样的项的正则化损失：一种是使用 Kullbach-Leibler 项，它与 PAC-Bayes 视角相关；另一种是使用权重中的信息作为学习模型复杂度的度量，从而为权重提供了一种新的信息瓶颈。最后，我们展示出在神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的，因此在训练过程中自动优化。该理论使我们能够量化和预测使用我们的正则化损失时随机标签下欠拟合和过拟合之间的尖锐相变，我们通过实验证实了这一点，并阐明了损失函数的几何形状、学习表示的不变性属性和泛化误差之间的关系。

    Jun, 2017

  • 深度变分多元信息瓶颈 —— 变分损失的框架

    通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器图，为数据指定了生成模型。利用这个框架，我们重新演绎了现有的降维方法，如深度变分信息瓶颈 (DVIB)，Beta 变分自动编码器 (beta-VAE) 和深度变分规范相关分析 (DVCCA)。该框架在 DVCCA 算法族中自然引入了一个压缩和重建之间的权衡参数，从而产生了新的 Beta-DVCCA 算法族。此外，我们推导出了一种新的变分降维方法，深度变分对称信息瓶颈 (DVSIB)，它可以同时压缩两个变量以保留它们压缩表示之间的信息。我们实现了所有这些算法，并在经过修改的噪声 MNIST 数据集上评估它们产生共享低维潜空间的能力。我们展示了与数据结构更匹配的算法 (Beta-DVCCA 和 DVSIB) 如何通过分类准确性和潜变量的维度来测量产生更好的潜空间。我们相信这个框架可以用来统一其他多视图表示学习算法，此外，它还为推导问题特定的损失函数提供了一个直观的框架。

    Oct, 2023

  • IB-AdCSCNet: 自适应卷积稀疏编码网络受信息瓶颈驱动

    本研究介绍了一种基于信息瓶颈理论的深度学习模型 IB-AdCSCNet，通过在梯度下降中动态调整交换参数 λ，优化压缩激发损失函数，实现压缩和拟合的最佳平衡。该模型不仅提供了一种一致性表现的模型，还融合了稀疏表示理论与深度学习的前沿视角。实验结果表明，IB-AdCSCNet 在处理受损数据时不仅能与深度残差卷积网络相媲美，而且还能表现更佳，并通过 IB 交换的推断显著增强了模型的稳健性。

    May, 2024

  • 透明信息瓶颈下的解耦表示学习

    通过传递信息的贝叶斯网络，我们引入了 DisTIB（传递信息瓶颈）作为一种导航信息压缩和保留之间平衡的新目标，通过可变推理和重参数化技巧获得了可优化的估计，实验证明其能够实现最优的解缠效果。

    Nov, 2023

  • 深度学习中信息瓶颈的更严格界限

    使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。

    Feb, 2024

  • 解缠结信息瓶颈

    本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

    Dec, 2020