信息最大化准则的自监督学习

Sep, 2022

Self-Supervised Learning with an Information Maximization Criterion

Serdar Ozsoy, Shadi Hamdan, Sercan Ö. Arik, Deniz Yuret, Alper T. Erdogan

TL;DR本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

Abstract

self-supervised learning allows AI systems to learn effective representations from large amounts of data using tasks that do not require costly labeling. mode collapse, i.e., the model producing identical represe

self-supervised learning mode collapse information maximization corinfomax mutual information

发现论文，激发创造

基于平方损失互信息的信息最大化聚类

该论文提出了一种基于核特征值分解的新型信息最大化聚类方法，该方法使用变体的互信息的平方误差作为目标函数进行聚类，具有高效性和可解性。同时，该方法还提供了一个实用的模型选择过程来优化核函数中包含的调整参数，并通过实验证明了该方法的实用性。

Dec, 2011

通过互信息估计和最大化学习深层表示

通过在深度神经网络编码器的输入和输出之间最大化互信息来进行无监督学习表示，该方法将表示的特征与先前分布进行敌对匹配，优于其他无监督学习方法并能够在多个分类任务中与全监督学习相竞争，深度信息最大化（DIM）为特定端点目标的无监督学习表示开启了新的途径。

Aug, 2018

关于表示学习的互信息最大化

本文讨论自监督学习中互信息最大化方法的局限性，并提出了在特征提取器架构和互信息估算器参数化中彰显归纳偏置的重要性，并展示了这种方法的成功与深度度量学习之间的联系。

Jul, 2019

通过最大化视角间相互信息来学习表示

该研究提出了一种基于最大化共享环境的多视角特征提取之间的互信息来进行自我监督表示学习的方法，并通过使用该方法建立一个模型，该模型学习到的图像表示在 ImageNet 等任务上的表现优于以前的方法。

Jun, 2019

在材料信息学中建立深度信息最大化作为一种有效的自监督学习方法

在材料信息学中，材料属性标签的稀缺性是一个关键挑战，然而相对而言，没有属性标签的材料数据却非常丰富。通过在任何晶体结构信息文件（CIF）中仅利用 “内在信息” 进行无监督任务的预训练模型，有潜力利用大量没有属性标签的晶体数据来提高小数据集上的属性预测结果。我们运用 Deep InfoMax 作为材料信息学的自监督机器学习框架，明确最大化晶体的点集（或图形）表示和适用于下游学习的向量表示之间的互信息。这允许在大型材料数据集上无需属性标签进行监督模型的预训练，也不需要模型从表示向量中重构晶体。我们通过在 Site-Net 架构上实施 Deep InfoMax 预训练，研究了在具有少量数据（<10^3）的情况下改善下游属性预测模型性能的好处，该情况与实验测量的材料属性数据库相关。通过属性标签屏蔽方法，在较大的受监督数据集上进行自监督学习，然后在少量标签的子集上训练监督模型，我们将 Deep InfoMax 预训练与分布偏移的影响分离开来。我们在表示学习和迁移学习的上下文中展示了性能改善，在能带间隙和形成能量预测任务中。在控制环境中建立了 Deep InfoMax 预训练的有效性后，我们的发现为将该方法扩展到解决材料信息学中的实际挑战提供了基础。

Jun, 2024

自监督对比学习的约束多视图表示

基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。

Feb, 2024

自我互信息：通过自监督多任务学习和辅助互信息最大化实现高效多模式融合

通过自监督学习的方式，利用对比预测编码作为辅助技术最大化单模输入对和多模态融合结果之间的互信息，通过最大化互信息，促进多模态融合与单模态之间更好的对齐，从而提高多模态融合的性能。

Nov, 2023

语言表示学习的互信息最大化视角

本文介绍了词表示学习的最新方法，通过互信息最大化来统一传统的词嵌入模型和现代上下文嵌入模型。此外，我们提出了一种构建新的自监督任务的框架，并提供了一种简单的自监督目标函数来最大化句子全局表示和 n-gram 之间的互信息。这种方法可以在自然语言处理、计算机视觉和音频处理等多个领域传递知识和推进进展。

Oct, 2019

自主标记：同时聚类与表示学习

本文提出了一种通过最大化标签和输入数据索引之间的信息来解决标签聚类与表示学习相结合的问题的新方法。该方法可以有效地对数以百万计的输入图像和数以千计的标签进行自标注，以训练高度竞争的图像表示，具有优于现有模型的性能。

Nov, 2019

神经群体 Infomax 快速稳健非监督学习的信息论框架

提出了一种基于 infomax 原理的框架，可实现对大规模神经群体进行无监督学习。该方法使用基于渐近的方法来对大规模神经群体的信息论下限进行计算，通过渐进性的不断往全局信息论最优解靠近的过程，可以获得一个很好的初始值。基于该初始值，提出了一个高效的算法来从输入数据集中学习特征表示，并且该方法适用于完备、过完备和欠完备情况下的基函数。和现有的方法相比，该算法在无监督表示学习的训练速度和鲁棒性方面都具有明显的优势，而且还可以轻松地扩展到用于训练深层结构网络的监督或无监督模型。

Nov, 2016