ICLRApr, 2020

变分带宽瓶颈：信息预算上的随机评估

PDF
TL;DR该研究提出了一种变分带宽瓶颈方法，针对含有 “特权” 输入的问题设置，根据所使用的标准输入对特权输入的值进行估计，并基于此选择随机访问或不访问特权输入，以实现压缩和通用性或降低通信成本等目的，该方法在强化学习实验中得到应用。
information bottleneckprivileged inputcompressionvariational bandwidth bottleneckreinforcement learning
发现论文，激发创造
  • 深度变分多元信息瓶颈 —— 变分损失的框架

    通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器图，为数据指定了生成模型。利用这个框架，我们重新演绎了现有的降维方法，如深度变分信息瓶颈 (DVIB)，Beta 变分自动编码器 (beta-VAE) 和深度变分规范相关分析 (DVCCA)。该框架在 DVCCA 算法族中自然引入了一个压缩和重建之间的权衡参数，从而产生了新的 Beta-DVCCA 算法族。此外，我们推导出了一种新的变分降维方法，深度变分对称信息瓶颈 (DVSIB)，它可以同时压缩两个变量以保留它们压缩表示之间的信息。我们实现了所有这些算法，并在经过修改的噪声 MNIST 数据集上评估它们产生共享低维潜空间的能力。我们展示了与数据结构更匹配的算法 (Beta-DVCCA 和 DVSIB) 如何通过分类准确性和潜变量的维度来测量产生更好的潜空间。我们相信这个框架可以用来统一其他多视图表示学习算法，此外，它还为推导问题特定的损失函数提供了一个直观的框架。

    Oct, 2023

  • 深度变分信息瓶颈

    本文提出 “Deep Variational Information Bottleneck” 方法，通过可变分近似来将信息瓶颈模型参数化，使用神经网络和重新参数化技巧进行高效训练。结果显示，使用 VIB 优化训练的模型在泛化性能和对抗攻击鲁棒性方面优于其他正则化方法。

    Dec, 2016

  • 通过强健信息瓶颈提取强健精准特征

    提出了一种用于在监督学习中提取特征的新策略，该方法在信息瓶颈的基础上引入了一个额外的惩罚项来鼓励提取的特征的 Fisher 信息在参数化输入时变小，从而实现分类器的更好鲁棒性。

    Oct, 2019

  • 带变分信息瓶颈的相关稀疏编码

    提出了信息瓶颈方法的一个新的变分计算模型，通过该模型以及核化技术实现对非线性问题的处理，从而获得相关而稀疏的特征。

    May, 2016

  • 利用变分信息瓶颈压缩神经网络

    该论文研究了如何通过修剪神经元、信息瓶颈和稀疏正则化等方式来压缩神经网络模型，提高模型的精度和运行效率。在多个数据集和网络架构中展示了最先进的压缩率。

    Feb, 2018

  • 信息瓶颈方法

    该研究提出了一种在信号处理和学习中使用的方法，通过压缩信号 $x$ 来提取其对另一个信号 $y$ 的最大信息，使用一组有限的编码词 $tX$ 来限制信息流，并使用 Blahut-Arimoto 算法求解编码规则。

    Apr, 2000

  • 非线性信息瓶颈

    该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。

    May, 2017

  • 关于信息瓶颈问题：模型、连接、应用和信息论视角

    本文主要讨论信息瓶颈问题，包括如何解决它、与编码和学习方面的联系，以及其对分布式信息瓶颈问题和高斯模型的扩展。同时探讨其与自动编码器、表征学习、变分推断和通用重建等方面的紧密联系。

    Jan, 2020

  • 深度学习中信息瓶颈的更严格界限

    使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。

    Feb, 2024

  • 确定性场景中信息瓶颈的注意事项

    本文研究信息瓶颈（IB）在有监督学习中的应用，提出了一个新的函数来解决 IB 曲线无法被最大化 IB Lagrangian 找到的问题。文章展示了本文提出的三个严重的警告，并在 MNIST 数据集上进行了演示。

    Aug, 2018