AAAIJun, 2021

不变信息瓶颈用于域泛化

PDF
TL;DR本文提出了一种新的不变信息瓶颈（IIB）的域泛化方法，它采用互信息的变分形式来为非线性分类器开发可处理的损失函数，以实现最小化不变风险和减轻伪不变特征和几何偏移对模型的影响。在合成数据集上，IIB 可以显著优于 IRM（不变风险最小化），并且在实际数据集上平均优于 13 个基线方法 0.9％。
发现论文，激发创造
  • 学习域不变表示特征的条件熵最小化原则

    提出了一种基于条件熵最小化原则的框架，用于过滤混入小说不变特征的不变特征，以增强新算法的泛化能力。

    Jan, 2022

  • 非线性信息瓶颈

    该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。

    May, 2017

  • 不变性原理遇见信息瓶颈：超出分布泛化

    通过在线性分类任务中的实验证明了仅仅使用不变性原理是不够的，利用信息瓶颈限制的形式加入不变性原则可以解决当因果特征占据标签信息的时候分类模型的失效问题。

    Jun, 2021

  • 确定性多视角聚类的可微信息瓶颈

    通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。

    Mar, 2024

  • 应用信息瓶颈解决任务导向通信中的分布偏移问题

    在这篇论文中，我们提出了一种基于信息瓶颈原理和不变风险最小化框架的新方法，旨在提取紧凑且信息丰富的特征，以具备对领域转移和语义转移具有强大泛化能力的同时，在传输过程中保持紧凑性。我们在图像分类任务上的大量模拟结果表明，该方案优于当前的最先进方法，并实现了更好的率失真权衡。

    May, 2024

  • 通过信息瓶颈约束提升对抗迁移性

    基于信息瓶颈理论，我们提出了一种名为 IBTA 的黑盒可传递对抗攻击的新框架，利用不变特征的进展。通过在等效攻击性能约束下减少对原始数据的敌对扰动依赖性，鼓励更多地依赖对分类有最大贡献的不变特征，从而增强对抗攻击的传递性。通过重新定义基于 IB 的传递攻击的优化，我们克服了不可优化的互信息挑战，并提出了一种简单高效的互信息下界 (MILB) 来逼近计算。此外，为了定量评估互信息，我们利用互信息神经估计器 (MINE) 进行了全面分析。我们在 ImageNet 数据集上的实验充分证明了 IBTA 和导出的 MILB 的效率和可扩展性。

    Jun, 2024

  • 通过强健信息瓶颈提取强健精准特征

    提出了一种用于在监督学习中提取特征的新策略，该方法在信息瓶颈的基础上引入了一个额外的惩罚项来鼓励提取的特征的 Fisher 信息在参数化输入时变小，从而实现分类器的更好鲁棒性。

    Oct, 2019

  • 确定性场景中信息瓶颈的注意事项

    本文研究信息瓶颈（IB）在有监督学习中的应用，提出了一个新的函数来解决 IB 曲线无法被最大化 IB Lagrangian 找到的问题。文章展示了本文提出的三个严重的警告，并在 MNIST 数据集上进行了演示。

    Aug, 2018

  • 用于回归的 Cauchy-Schwarz 散度信息瓶颈

    本文研究回归问题下的信息瓶颈原理，并通过利用柯西 - 斯瓦茨散度的优势属性，采用深度神经网络参数化信息瓶颈。通过这种方法，避免了基于均方误差的回归和变分推理的假设，研究了我们提出的柯西 - 斯瓦茨信息瓶颈模型的改进泛化能力，展示了其在六个实际回归任务中相对于其他热门深度信息瓶颈方法的优越性能。

    Apr, 2024

  • IB-RAR: 信息瓶颈作为对手鲁棒性的正则化器

    本文将信息瓶颈理论引入对抗训练和非对抗训练方法，以加强其鲁棒性，在损失函数中设计了正则化器作为学习目标，并根据特征与标签间的互信息来过滤中间表示的无用特征。实验结果表明，该方法能够与对抗性训练自然结合，提供更好的鲁棒性。

    Feb, 2023