ICLRNov, 2016

神经群体 Infomax 快速稳健非监督学习的信息论框架

PDF
TL;DR提出了一种基于 infomax 原理的框架，可实现对大规模神经群体进行无监督学习。该方法使用基于渐近的方法来对大规模神经群体的信息论下限进行计算，通过渐进性的不断往全局信息论最优解靠近的过程，可以获得一个很好的初始值。基于该初始值，提出了一个高效的算法来从输入数据集中学习特征表示，并且该方法适用于完备、过完备和欠完备情况下的基函数。和现有的方法相比，该算法在无监督表示学习的训练速度和鲁棒性方面都具有明显的优势，而且还可以轻松地扩展到用于训练深层结构网络的监督或无监督模型。
unsupervised learninginfomax principleneural populationsrepresentation learningdeep structure networks
发现论文，激发创造
  • 通过互信息估计和最大化学习深层表示

    通过在深度神经网络编码器的输入和输出之间最大化互信息来进行无监督学习表示，该方法将表示的特征与先前分布进行敌对匹配，优于其他无监督学习方法并能够在多个分类任务中与全监督学习相竞争，深度信息最大化（DIM）为特定端点目标的无监督学习表示开启了新的途径。

    Aug, 2018

  • 用于隐式模型的神经近似充分统计量

    本文提出了一种使用深度神经网络学习数据的互信息最大化表示来构建难以计算似然函数的隐式生成模型的摘要统计量，并将其应用于传统的近似贝叶斯计算和最近的神经似然方法，提高了它们的性能。

    Oct, 2020

  • InfoGraph：利用互信息最大化进行无监督和半监督图级表示学习

    本文研究无监督与半监督情境下，学习整个图的表示。通过最大化不同规模子结构（例如节点，边和三角形）的表示和图表示之间的互信息，提出了名为 InfoGraph 的图级表示学习方法。InfoGraph 优于现有的竞争基线。同时，我们还提出了一个名为 InfoGraph * 的扩展，主要用于半监督学习。

    Jul, 2019

  • 信息最大化准则的自监督学习

    本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

    Sep, 2022

  • 鲁棒性深度表征的信息论学习

    本文提出一种基于信息论的学习鲁棒性深度表示的新颖目标函数，通过将数据投影到特征矢量空间，最大化相对于监督信号的所有特征子集的互信息，得到鲁棒表示，其对噪声或不可用特征的信息保留能力较强，我们利用一种替代目标函数最小化的方式实现此目标函数并进行实验验证。

    May, 2019

  • 高维数据的最大信息层次表示

    本研究介绍了一种基于概率函数的输入变量表示方法，并提出如何量化各层对原始数据信息提取的贡献，并应用于深度表示的无监督学习，具有可实施性和科学性。

    Oct, 2014

  • 信息最大化神经网络进行自动物理推理

    介绍了一种基于机器学习技术的信息最大化神经网络 (IMNN) 方法，可以自动找到最佳的非线性数据压缩摘要来近似完整的数据信息，从而实现精准且高效的宇宙学参数估计。

    Feb, 2018

  • 基于平方损失互信息的信息最大化聚类

    该论文提出了一种基于核特征值分解的新型信息最大化聚类方法，该方法使用变体的互信息的平方误差作为目标函数进行聚类，具有高效性和可解性。同时，该方法还提供了一个实用的模型选择过程来优化核函数中包含的调整参数，并通过实验证明了该方法的实用性。

    Dec, 2011

  • 可扩展的 Infomin 学习

    利用新的代理度量和一种准确且可分析计算的近似方法提出了一种新的 infomin 学习方法，该方法可有效地去除不需要的信息，适用于公平预测模型，去相关表征学习和领域自适应。

    Feb, 2023

  • 条件信息流最大化的表示学习

    本论文提出了一个名为条件信息流最大化的信息论表示学习框架，用于提取输入数据和目标任务的噪声不变的充分表示。该方法通过最大化输入 - 表示和表示 - 标签互信息，同时促进学习到的表示具有较好的特征一致性和充分的预测能力，从而增强了预训练语言模型在目标任务中的泛化能力。实验证明，该方法有效地提升了用于分类和回归的预训练语言模型的性能，并且学到的表示更加充分、鲁棒和可迁移。

    Jun, 2024