- 基于多视角语义一致性的信息瓶颈聚类方法
提出了一种新的多视角语义一致性信息瓶颈聚类(MSCIB)算法,通过语义空间的多视角映射对多源信息进行对齐,从而获取有价值的一致信息,已取得最先进的性能。
- ACL通过生成和压缩信息进行基于跨度的命名实体识别
本文提出将生成模型和信息压缩模型结合在一起,通过信息瓶颈模型提高命名实体识别(NER)性能。通过实验证明,联合训练生成模型和信息压缩模型可以增强基线的基于 span 的 NER 系统的性能。
- IB-RAR: 信息瓶颈作为对手鲁棒性的正则化器
本文将信息瓶颈理论引入对抗训练和非对抗训练方法,以加强其鲁棒性,在损失函数中设计了正则化器作为学习目标,并根据特征与标签间的互信息来过滤中间表示的无用特征。实验结果表明,该方法能够与对抗性训练自然结合,提供更好的鲁棒性。
- 因果信息瓶颈提升深度神经网络对抗性鲁棒性
本文将因果推断应用于信息瓶颈方法中,通过仪器变量对特征进行分离,以减轻因虚假相关性导致的限制,提高对抗鲁棒性。大量实验结果表明,该方法在 MNIST、FashionMNIST 和 CIFAR-10 数据集中有明显的对抗攻击鲁棒性。
- 无需对抗样本修剪对抗鲁棒神经网络
该研究通过运用自蒸馏和信息瓶颈方案,提出新的神经网络剪枝框架,使其可以在保持鲁棒性的情况下压缩其大小并提高训练效率。
- 使用不可靠标签的无偏公平性表征学习
该研究提出了一种名为 DBRF 的公正表示学习框架,通过信息理论概念(例如相互信息和信息瓶颈)解决了标签偏见的问题,旨在实现从不可靠标签中学习面向理想公正标签的公正表示。
- ECCVSdAE: 自我蒸馏的遮蔽式自编码器
本文提出了一种名为 SdAE 的简单自蒸馏掩码自编码器网络,该网络具有带有编码器 - 解码器结构的学生分支来重构缺失信息,以及产生蒸馏编码代码本的老师分支。通过分析信息瓶颈,提出了一种构建良好视图以产生潜在表示的方法,并使用多重蒙版策略来提 - 基于信息瓶颈原理的人 - 代理通信
本文研究了如何平衡效用、信息的有效性和复杂性,从而塑造新兴的通信,并将其与人类通信进行比较。我们使用 VQ-VIB 方法训练神经代理来压缩输入以获得离散信号,从而比以往的神经体系结构在其性能方面更具优越性,并发现惩罚交际复杂性可以维持高效用 - ICML可解释文本建模的潜在扩散基于能量模型
该论文提出了一种新的基于扩散模型与潜空间 EBM 的符号学方法,该方法结合了基于几何聚类的正则化与信息瓶颈,从而在解释性文本建模方面表现出比强大对手更优异的性能。
- ACLRevUp:为事件表示修订和更新信息瓶颈
为了利用有可能是嘈杂或缺失的边缘信息,我们提出了一种基于半监督信息瓶颈离散隐变量模型。我们使用辅助连续隐变量和轻量级分层结构重新参数化模型的离散变量,以最小化已观测数据和未被新辅助变量捕获的可选边缘知识之间的互信息,并在事件建模上进行经验研 - ACL使用平行语料库进行基于原则的释义生成
本文针对往返机器翻译产生的模棱两可的翻译问题,提出了一种基于信息瓶颈的对抗式训练方法。该方法将引入一个可调整的参数来平衡准确性和多样性,并在实验中获得更好的效果。
- 无线网络中语义信息恢复
本研究通过推广 Basu 等人的方法,将语义建模扩展至完整的通信马尔科夫链,提出了一种 ML-based 的语义通信系统 SINFONY,通过传输信息的同时进行压缩,有效提高了信息传输质量,尤其在多分发情况下,SNR 比传统通信系统提高了 - 深度多视角子空间聚类的自监督信息瓶颈
本论文从信息论的角度探讨了深度多视角子空间聚类的问题,提出了一种基于自我监督信息瓶颈的多视角子空间聚类框架,通过学习不同视图之间的共同信息以及视图特定的信息,有效提升了多视角子空间聚类的性能表现,并在真实数据上验证了其优越性。
- R2-Trans: 细粒度视觉分类中的冗余减少
本文提出了一种新颖的 Fine-grained visual categorization (FGVC) 方法,可以同时运用环境线索中局部但足够区分的信息和对目标类别下的冗余信息进行压缩,通过计算批次中高权重区域的比例和自适应阈值,实现了输 - 通过信息瓶颈提取对抗样本中的鲁棒和非鲁棒特征
本文提出了一种通过 Information Bottleneck 明确地提炼出稳健特征和非稳健特征的方法,这些特征高度相关于对抗性预测并具有人类可感知的语义信息。此外,我们还提出了一种攻击机制来强化与模型预测直接相关的非稳健特征,并验证了其 - 信息感知的图形对比学习
提出了一种名为 InfoGCL 的基于信息瓶颈原则的信息感知图对比学习框架,与最新的图像对比学习方法统一,在节点和图分类基准数据集上进行了实证验证,取得了显著的效果优于现有技术。
- 弱监督语义分割中信息瓶颈的降低
本文通过对深度神经网络中信息瓶颈原理的分析,提出了一种处理像素级别的弱监督语义分割任务的新方法,该方法去除最后一层的激活函数并引入新的池化策略以弥补信息缺失,实验表明此方法在准确性和性能方面具有明显优势。
- EMNLP利用信息瓶颈进行科学文档摘要
使用信息熵原理,提出了无监督的文档摘要方法,通过两个单独步骤在信号查询和句子搜索和编辑之间进行。使用预训练的语言模型返回最终提取的摘要结果,验证了在三个科学文献集上的有效性,同时人类评估表明此方法包含了更多的内容方面。
- 鲁棒可预测控制
这篇研究论文提出了一种基于信息压缩的强化学习算法,通过最小化信息、建立自洽的潜在空间模型和策略来提高压缩性能,并在性能、鲁棒性和泛化性方面都有显著提升。
- IJCAI空间注意力学习的信息瓶颈方法
本论文提出了一种基于信息瓶颈的空间注意力模块,用于深度神经网络的视觉识别,该模块可以产生可解释的重点区域,压制背景,提高视觉识别效果。