Feb, 2020

通过多视角信息瓶颈学习强大的表示

PDF
TL;DR本文提出了基于信息瓶颈原理的多视角无监督学习方法，通过对同一实体的两个视角进行对比得出冗余信息，进而定义新的多视角模型，在 Sketchy 数据集和 MIR-Flickr 数据集的标签受限版本上取得了最先进的结果；此外还通过数据扩增技术将理论扩展至单视角情况，实验证明更具有良好的泛化能力。
information bottleneck principleunsupervised learningmulti-view modelrepresentation learningdata augmentation
发现论文，激发创造
  • 深度多视角子空间聚类的自监督信息瓶颈

    本论文从信息论的角度探讨了深度多视角子空间聚类的问题，提出了一种基于自我监督信息瓶颈的多视角子空间聚类框架，通过学习不同视图之间的共同信息以及视图特定的信息，有效提升了多视角子空间聚类的性能表现，并在真实数据上验证了其优越性。

    Apr, 2022

  • MVEB：多视图熵瓶颈的自监督学习

    自我监督学习通过最大化两个视图的嵌入间的一致性和嵌入分布的差分熵，提出了多视图熵瓶颈方法（MVEB）来有效地学习最小的充分表示。实验证实，MVEB 显著提高了性能，在使用 ResNet-50 骨干网络进行线性评估时，ImageNet 的 top-1 准确率达到了 76.9％，是迄今为止的最新成果。

    Mar, 2024

  • 确定性多视角聚类的可微信息瓶颈

    通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。

    Mar, 2024

  • 多元信息瓶颈

    本文提出了信息瓶颈方法的多元扩展的通用原则框架，利用贝叶斯网络来指定不同数据划分之间的关联，并展示了迭代算法的通用框架。

    Jan, 2013

  • 弹性信息瓶颈

    信息瓶颈是一种信息论表示学习原理，旨在学习一个最大压缩的表示，以尽可能保留关于标签的信息。本文研究了信息瓶颈和确定性信息瓶颈在迁移学习情景中的泛化能力，并提出了一种弹性信息瓶颈方法，通过在信息瓶颈和确定性信息瓶颈正则化之间插值来平衡源泛化差距和表示不一致性，实验证明该方法在领域自适应方面表现更好。

    Nov, 2023

  • 信息瓶颈问题及其在机器学习中的应用

    该论文介绍了信息瓶颈理论作为一种信息理论范例来分析机器学习中使用深度学习等算法进行降维操作的有效性，并总结了其在深度学习理论中的重要性和实际算法的启示。

    Apr, 2020

  • 检索增强生成中有效的噪音过滤的信息瓶颈视角

    检索增强生成结合了大语言模型的能力和从广泛语料库检索到的相关信息，但在面对现实世界的噪声数据时面临挑战。本文提出将信息瓶颈理论引入检索增强生成，通过同时最大化压缩和生成结果的互信息，最小化压缩和检索到的内容之间的互信息，实现对噪声的过滤。实验结果表明，我们的方法在各种问答数据集中取得显著的改进，不仅在答案生成的正确性方面，而且在 2.5% 的压缩率下的简洁性方面也有明显提升。

    Jun, 2024

  • 应用信息瓶颈原理学习神经网络分类的表示

    通过研究使用信息瓶颈功能最小化来训练深度神经网络进行分类的理论论文，我们发现这种优化问题存在严重问题，方法包括使用随机神经网络、更加稳定的代价函数和设计直接实现所需属性的潜在表示的正则化项。

    Feb, 2018

  • 通过强健信息瓶颈提取强健精准特征

    提出了一种用于在监督学习中提取特征的新策略，该方法在信息瓶颈的基础上引入了一个额外的惩罚项来鼓励提取的特征的 Fisher 信息在参数化输入时变小，从而实现分类器的更好鲁棒性。

    Oct, 2019

  • 标签信息瓶颈用于标签增强

    本文研究标签增强问题，提出了一种新的标签信息瓶颈方法来从逻辑标签精确恢复标签分布。该方法通过挖掘关键的标签相关信息来提高恢复性能，并在多个基准标签分布学习数据集上进行实验来验证其有效性和竞争力。

    Mar, 2023