- 通过信息瓶颈约束提升对抗迁移性
基于信息瓶颈理论，我们提出了一种名为 IBTA 的黑盒可传递对抗攻击的新框架，利用不变特征的进展。通过在等效攻击性能约束下减少对原始数据的敌对扰动依赖性，鼓励更多地依赖对分类有最大贡献的不变特征，从而增强对抗攻击的传递性。通过重新定义基于 - 非监督式表征学习的扩散桥自编码器
通过引入 Diffusion Bridge AuteEncoders（DBAE），我们解决了传统扩散模型中信息拆分问题，并实现了更好的重构模型和生成模型，提高了下游推断质量、重构质量和解耦性能。
- 透过 Gromov-Wasserstein 信息瓶颈重新审视反事实回归
通过信息瓶颈的视角，我们提出了一种新的学习范式 ——Gromov-Wasserstein 信息瓶颈（GWIB），通过最大化协变量的潜在表示和结果之间的互信息，同时对潜在表示和协变量之间的核互信息进行惩罚，实现了对个体化治疗效应估计模型的学习 - 信息瓶颈的去除：系统模式与偏见的机器去除
通过引入信息瓶颈的方法，我们提出了一个能有效消除系统模式和偏见的机器遗忘框架，在迁移学习中进行模型参数的动态调整，以便高效准确地移除过时或不需要的数据模式和偏见。
- 应用信息瓶颈解决任务导向通信中的分布偏移问题
在这篇论文中，我们提出了一种基于信息瓶颈原理和不变风险最小化框架的新方法，旨在提取紧凑且信息丰富的特征，以具备对领域转移和语义转移具有强大泛化能力的同时，在传输过程中保持紧凑性。我们在图像分类任务上的大量模拟结果表明，该方案优于当前的最先进 - ICLR用于回归的 Cauchy-Schwarz 散度信息瓶颈
本文研究回归问题下的信息瓶颈原理，并通过利用柯西 - 斯瓦茨散度的优势属性，采用深度神经网络参数化信息瓶颈。通过这种方法，避免了基于均方误差的回归和变分推理的假设，研究了我们提出的柯西 - 斯瓦茨信息瓶颈模型的改进泛化能力，展示了其在六个实 - 延迟瓶颈化：缓解预训练图神经网络中的遗忘
传统的预训练和微调流程中的遗忘现象可能对下游任务产生不利影响，因此我们提出了一种新颖的延迟瓶颈预训练（DBP）框架，通过抑制压缩操作并延迟至微调阶段来尽量保持潜在表示与训练数据之间的互信息，以确保压缩能够由有标签的微调数据和下游任务进行引导 - 深度回归表示学习与拓扑
该研究论文通过研究回归表示的拓扑结构及其与信息瓶颈原则之间的关系，引入了一种名为 PH-Reg 的回归特定正则化方法，实验结果表明其带来的益处。
- 神经启发的信息理论层次感知多模态学习
通过神经科学的启发，我们开发了信息论层次感知（ITHP）模型，它利用了信息瓶颈的概念。与大多数在神经网络中相同并一致地纳入所有模态的传统融合模型不同，我们的模型将一个主要模态设计为信息路径中的侦测器，以蒸馏信息流。我们提出的感知模型专注于通 - 深度学习中的信息平面分析可视化通过传递熵
在一个前馈网络中，可以使用传递熵（TE）来衡量一层对另一层的影响，通过在训练期间量化它们之间的信息传递。通过在输入数据中的信息量与压缩表示之间绘制图表来理解信息瓶颈方法中压缩和信息保留之间的权衡，这被称为信息平面分析。我们使用 TE 来量化 - 从离散到连续：具有可传递表示的深度公平聚类
我们提出了一种灵活的深度公平聚类方法，可以同时处理离散和连续的敏感属性，通过设计一个信息瓶颈风格的目标函数来学习公平和友好的聚类表示，并首次探索了从聚类任务中提取的表示的可转移性到其他下游任务，实验证明我们的方法相比现有方法具有优势。
- CVPR确定性多视角聚类的可微信息瓶颈
通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。
- 学习最大化互信息用于思路链提炼
利用连续思维蒸馏的知识蒸馏技术，通过多任务学习框架，最大化两个训练任务的特征表示的互信息，提出一种变分方法来优化小型模型的推理能力和标签预测的整合性，并在四个数据集上超越先进的 DSS 方法，为语言模型蒸馏和连续思维相关应用的未来研究提供有 - CVPR迈向端到端自动驾驶运动规划器压缩的便携性
本文提出 PlanKD，这是第一个专门用于压缩端到端运动规划器的知识蒸馏框架，通过信息瓶颈策略和安全感知的逐点蒸馏模块，可以显著提升较小规模规划器的性能并减少参考时间。
- YOLOv9：使用可编程梯度信息学习您想要学习的内容
当前的深度学习方法主要关注如何设计最合适的目标函数，以使得模型的预测结果最接近真实情况，同时需要设计一种适当的架构来获取足够的信息进行预测。然而现有的方法忽视了一个事实，即当输入数据经历逐层特征提取和空间变换时，会丢失大量的信息。本文主要研 - 去偏离线表示学习用于快速在线适应非平稳动态
发展能够适应非平稳环境的策略对于现实强化学习应用至关重要。本文介绍了一种名为 DORA 的新方法，通过信息瓶颈原理实现了快速在线自适应，并在实验评估中展示了其在动力学编码和性能方面明显优于现有基线模型。
- 通过层级角色差异来诱导端到端训练中的信息瓶颈：与逐层训练进行比较的分析
通过与逐层训练进行比较，本文重新考虑为什么端到端训练能够表现出卓越性能，并分析了中间表示的信息平面动态，揭示了端到端训练在不同层中展示不同信息动态的能力，以及表明层间的合作相互作用需要被考虑在深度学习的信息瓶颈分析中。
- 深度学习中信息瓶颈的更严格界限
使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。
- REMEDI：改进神经熵估计的纠正变换
通过简单、自适应的基模型的最小化和相对熵的估计，REMEDI 实现了高效且准确的差分熵估计方法，提升了信息论相关任务的准确性，并且在信息瓶颈方法中表现出更好的精度。
- 表示学习的最小描述长度和泛化保证
设计高效的统计监督学习算法的一大挑战是找到不仅在可用训练样本上表现良好，也在未知数据上表现良好的表示方法。本文建立了一个压缩性框架，通过标签或潜在变量（表示）的 “最小描述长度”（MDL）来推导表示学习算法的泛化误差的上界。通过与固定先验的