重新审视互信息最大化在广义类别发现中的应用

May, 2024

重新审视互信息最大化在广义类别发现中的应用

Revisiting Mutual Information Maximization for Generalized Category Discovery

Zhaorui Tan, Chengrui Zhang, Xi Yang, Jie Sun, Kaizhu Huang

TL;DR通过信息最大化（InfoMax）概率参数分类器的视角，本文重新探讨了泛化类别发现的挑战，发现通过确保已知和未知类的独立性，同时假设在所有类别上保持均匀的概率分布，可以扩大已知和未知类之间的边界，从而提高模型的性能。为了实现上述独立性，我们提出了一种基于新颖的 InfoMax 方法，即正则化参数 InfoMax（RPIM），该方法在 InfoMax 过程中使用伪标签监督未标记样本，并提出一种正则化方法来确保伪标签的质量。此外，我们引入了基于语义偏差转换的新颖特征优化方法，而不是直接微调来减少计算成本。大量实验在六个基准数据集上验证了我们方法的有效性。RPIM 在未知类方面显著提高了性能，超过了现有技术方法的 3.5％的平均边界。

Abstract

generalized category discovery presents a challenge in a realistic scenario, which requires the model's generalization ability to recognize unlabeled samples from known and unknown categories. This paper revisits the challenge of →

generalized category discovery information maximization probabilistic parametric classifier regularized parametric infomax (rpim)semantic-bias transformation

发现论文，激发创造

信息最大化准则的自监督学习

本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

Sep, 2022

通过互信息估计和最大化学习深层表示

通过在深度神经网络编码器的输入和输出之间最大化互信息来进行无监督学习表示，该方法将表示的特征与先前分布进行敌对匹配，优于其他无监督学习方法并能够在多个分类任务中与全监督学习相竞争，深度信息最大化（DIM）为特定端点目标的无监督学习表示开启了新的途径。

Aug, 2018

基于平方损失互信息的信息最大化聚类

该论文提出了一种基于核特征值分解的新型信息最大化聚类方法，该方法使用变体的互信息的平方误差作为目标函数进行聚类，具有高效性和可解性。同时，该方法还提供了一个实用的模型选择过程来优化核函数中包含的调整参数，并通过实验证明了该方法的实用性。

Dec, 2011

信息匹配：半监督图像分类的熵神经估计

利用伪监督和一致性正则化的半监督图像分类方法，在最大化增强视图之间的互信息下限时，通过信息熵神经估计利用未标记样本的潜力，从理论上分析出图像分类器的信息熵通过最大化 softmax 预测的似然函数近似估计。在这些见解的指导下，我们从两个角度优化我们的模型，以确保预测的概率分布与真实分布紧密一致，并通过大量实验证明其卓越性能。

Apr, 2024

关于表示学习的互信息最大化

本文讨论自监督学习中互信息最大化方法的局限性，并提出了在特征提取器架构和互信息估算器参数化中彰显归纳偏置的重要性，并展示了这种方法的成功与深度度量学习之间的联系。

Jul, 2019

InfoSeg: 基于互信息最大化的无监督语义图像分割

本文提出了一种基于自监督学习的无监督语义图像分割的新方法，通过局部和全局高级别图像特征间的互信息最大化计算多个高级别特征，实现对不同语义类别的图像分割和互信息最大化的两阶段学习过程，并在已有数据集和引入的 COCO-Persons 数据集上相对推进了 26%（基于像素准确率评估）。

Oct, 2021

神经群体 Infomax 快速稳健非监督学习的信息论框架

提出了一种基于 infomax 原理的框架，可实现对大规模神经群体进行无监督学习。该方法使用基于渐近的方法来对大规模神经群体的信息论下限进行计算，通过渐进性的不断往全局信息论最优解靠近的过程，可以获得一个很好的初始值。基于该初始值，提出了一个高效的算法来从输入数据集中学习特征表示，并且该方法适用于完备、过完备和欠完备情况下的基函数。和现有的方法相比，该算法在无监督表示学习的训练速度和鲁棒性方面都具有明显的优势，而且还可以轻松地扩展到用于训练深层结构网络的监督或无监督模型。

Nov, 2016

通过对抗最大化互信息来学习离散结构表示

本研究提出使用互信息优化结构化潜变量和目标变量之间的关联，通过对抗目标函数可在二进制编码上估算互信息，应用于文件哈希上表现卓越且高度压缩。

Apr, 2020

最大化互信息以获得稳健可规划表征

MIRO 设计了一个潜在的数据空间，最大化与未来信息的互信息，同时能够捕获规划所需的所有信息，并在干扰和杂乱的场景中比重建目标更具鲁棒性。

May, 2020

最大化互信息和对抗正则化的无监督图像分割

本文提出了一种全新的完全无监督语义分割方法，名为 InMARS，以信息最大化和对抗性正则化分割为基础，并结合对抗性训练策略，通过像人类感知一样先将输入图像分区，然后将其聚类为语义上有意义的类别，其实验结果表明在两个常用的无监督语义分割数据集上，InMARS 方法取得了最先进的性能。

Jul, 2021