May, 2024

应用信息瓶颈解决任务导向通信中的分布偏移问题

PDF
TL;DR在这篇论文中，我们提出了一种基于信息瓶颈原理和不变风险最小化框架的新方法，旨在提取紧凑且信息丰富的特征，以具备对领域转移和语义转移具有强大泛化能力的同时，在传输过程中保持紧凑性。我们在图像分类任务上的大量模拟结果表明，该方案优于当前的最先进方法，并实现了更好的率失真权衡。
发现论文，激发创造
  • 边缘推理中学习面向任务的通信：一种信息瓶颈方法

    本文提出了一种基于学习的通信方案，综合优化特征提取，源编码和信道编码，采用变分信息瓶颈框架构建可行的上界，使用稀疏诱导分布作为变分先验，提高边缘设备和强大边缘服务器的传输性能和速度。

    Feb, 2021

  • 不变信息瓶颈用于域泛化

    本文提出了一种新的不变信息瓶颈（IIB）的域泛化方法，它采用互信息的变分形式来为非线性分类器开发可处理的损失函数，以实现最小化不变风险和减轻伪不变特征和几何偏移对模型的影响。在合成数据集上，IIB 可以显著优于 IRM（不变风险最小化），并且在实际数据集上平均优于 13 个基线方法 0.9％。

    Jun, 2021

  • 面向任务通信的多设备合作边缘推断

    本文提出了一种基于任务导向的通信方案以减少多设备合作边缘推理中的通信开销与延迟，并通过信息瓶颈原理提取与任务相关的特征并采用分布式信息瓶颈框架来对分散的特征进行编码。通过对多个设备传输的信息进行冗余性分析并采用可变近似来解决计算的复杂性问题，该方案比基线方法更好地平衡了传输效率与推理能力的关系。

    Sep, 2021

  • 通过信息瓶颈约束提升对抗迁移性

    基于信息瓶颈理论，我们提出了一种名为 IBTA 的黑盒可传递对抗攻击的新框架，利用不变特征的进展。通过在等效攻击性能约束下减少对原始数据的敌对扰动依赖性，鼓励更多地依赖对分类有最大贡献的不变特征，从而增强对抗攻击的传递性。通过重新定义基于 IB 的传递攻击的优化，我们克服了不可优化的互信息挑战，并提出了一种简单高效的互信息下界 (MILB) 来逼近计算。此外，为了定量评估互信息，我们利用互信息神经估计器 (MINE) 进行了全面分析。我们在 ImageNet 数据集上的实验充分证明了 IBTA 和导出的 MILB 的效率和可扩展性。

    Jun, 2024

  • 透明信息瓶颈下的解耦表示学习

    通过传递信息的贝叶斯网络，我们引入了 DisTIB（传递信息瓶颈）作为一种导航信息压缩和保留之间平衡的新目标，通过可变推理和重参数化技巧获得了可优化的估计，实验证明其能够实现最优的解缠效果。

    Nov, 2023

  • 领域自适应语义分割的意义感知信息瓶颈

    在无监督的领域自适应问题中，我们引入了 “意义感知信息瓶颈（SIB）” 的对抗网络，从而形成了新的网络结构 SIBAN 来解决现有的特征对齐问题，并在两个领域适应任务中取得了优异的结果。

    Apr, 2019

  • 解缠结信息瓶颈

    本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

    Dec, 2020

  • 深度神经网络的信息瓶颈分析通过有损压缩

    该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

    May, 2023

  • 非线性信息瓶颈

    该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。

    May, 2017

  • 不变性原理遇见信息瓶颈：超出分布泛化

    通过在线性分类任务中的实验证明了仅仅使用不变性原理是不够的，利用信息瓶颈限制的形式加入不变性原则可以解决当因果特征占据标签信息的时候分类模型的失效问题。

    Jun, 2021