变分鉴别器瓶颈：通过限制信息流改进模仿学习，逆强化学习和 GANs

Oct, 2018

变分鉴别器瓶颈：通过限制信息流改进模仿学习，逆强化学习和 GANs

Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow

PDF

Xue Bin Peng, Angjoo Kanazawa, Sam Toyer, Pieter Abbeel, Sergey Levine

TL;DR通过对鉴别器的信息流进行限制，我们提出了一种称为变分鉴别器瓶颈的简单通用技术，可以在不同的对抗性学习应用领域中实现显着改进，例如动态连续运动控制的模仿学习和图像生成的 GAN 的训练。

Abstract

adversarial learning methods have been proposed for a wide range of applications, but the training of adversarial models can be notoriously unstable. Effectively balancing the performance of the generator and discriminator is critical, since a discriminator that achieves very high accu

adversarial learning information bottleneck variational discriminator bottleneck imitation learning gans

发现论文，激发创造

深度学习中信息瓶颈的更严格界限

使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。

Feb, 2024

深度变分信息瓶颈

本文提出 “Deep Variational Information Bottleneck” 方法，通过可变分近似来将信息瓶颈模型参数化，使用神经网络和重新参数化技巧进行高效训练。结果显示，使用 VIB 优化训练的模型在泛化性能和对抗攻击鲁棒性方面优于其他正则化方法。

Dec, 2016

深度变分多元信息瓶颈 —— 变分损失的框架

通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器图，为数据指定了生成模型。利用这个框架，我们重新演绎了现有的降维方法，如深度变分信息瓶颈 (DVIB)，Beta 变分自动编码器 (beta-VAE) 和深度变分规范相关分析 (DVCCA)。该框架在 DVCCA 算法族中自然引入了一个压缩和重建之间的权衡参数，从而产生了新的 Beta-DVCCA 算法族。此外，我们推导出了一种新的变分降维方法，深度变分对称信息瓶颈 (DVSIB)，它可以同时压缩两个变量以保留它们压缩表示之间的信息。我们实现了所有这些算法，并在经过修改的噪声 MNIST 数据集上评估它们产生共享低维潜空间的能力。我们展示了与数据结构更匹配的算法 (Beta-DVCCA 和 DVSIB) 如何通过分类准确性和潜变量的维度来测量产生更好的潜空间。我们相信这个框架可以用来统一其他多视图表示学习算法，此外，它还为推导问题特定的损失函数提供了一个直观的框架。

Oct, 2023

确定性多视角聚类的可微信息瓶颈

通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。

Mar, 2024

变分信息瓶颈中的不确定性

通过简单的案例研究，我们展示了变分信息瓶颈（VIB）不仅可以提高神经网络的分类校准能力，还可以改善其检测未知数据的能力，并提供了两个量化和处理不确定性的自然度量。

Jul, 2018

变分玻璃限制下的信息瓶颈

本文基于信息瓶颈原理与变分分解构建了一般的框架结构，分析了现有深度生成模型（VAE，GAN 等）的基本假设与相互之间的联系，提出了新的相互信息分解方式，使得生成模型在压缩生成方面具备新的解释和洞见。

Dec, 2019

具有信息瓶颈递减的变分自编码器用于解缠

提出了一种新颖的降维自编码器 DeVAE，可以在不同层次优化多个目标，通过逐步减少信息瓶颈来平衡解缠结和重构保真度，从而解决解缠结学习中信息扩散问题，并且可以在高维潜空间中获得良好的平衡。

Mar, 2023

有效低资源微调的变分信息瓶颈

本文提出使用变分信息瓶颈 (VIB) 来压制过拟合和提高低资源情景中的传输学习，并证明我们的方法成功地降低了过拟合，提高了泛化能力。我们的 VIB 模型发现的句子表示更加鲁棒且能够在自然语言推断数据集中更好地泛化到领域外数据集，实验结果表明我们的方法显著提高了传输学习，并在 13 个领域外自然语言推断基准测试中提高了泛化能力。

Jun, 2021

变分带宽瓶颈：信息预算上的随机评估

该研究提出了一种变分带宽瓶颈方法，针对含有 “特权” 输入的问题设置，根据所使用的标准输入对特权输入的值进行估计，并基于此选择随机访问或不访问特权输入，以实现压缩和通用性或降低通信成本等目的，该方法在强化学习实验中得到应用。

Apr, 2020

利用变分图信息瓶颈改进子图识别

该研究提出了一种名为 Variational Graph Information Bottleneck (VGIB) 的框架，用于识别图形中最具信息量的压缩子结构，VGIB 通过对图形施加噪声注入的方式，再通过过滤噪声来获得所需的子图，并在图解释、图神经网络的可解释性和图分类等方面进行了广泛实验。

Dec, 2021