状态表示学习中的最大流形容量表示

May, 2024

状态表示学习中的最大流形容量表示

Maximum Manifold Capacity Representations in State Representation Learning

Li Meng, Morten Goodwin, Anis Yazidi, Paal Engelstad

TL;DR通过引入 Maximum Manifold Capacity Representation 并与 DeepInfomax with an unbalanced atlas 相结合，本研究创新地整合了模型压缩的优化类别可分离性的方法，并通过核范数损失稳健地强制执行流形的一致性，从而在目标编码维度相同时显著提高了 DIM-UA 的性能。

Abstract

The expanding research on manifold-based self-supervised learning (SSL) builds on the manifold hypothesis, which suggests that the inherent complexity of high-dimensional data can be unraveled through lower-dimensional manifold embeddings. Capitalizing on this, →

manifold-based self-supervised learning deepinfomax with an unbalanced atlas maximum manifold capacity representation state representation learning state representations in reinforcement learning

发现论文，激发创造

提升对最大流形容量表示的理解和利用

通过利用高维概率论工具和信息论的方法，本研究旨在提高对最大流形容量表示（MMCR）的理解和应用，并揭示其在多视角自监督学习中的几何和信息论视角的联系，同时通过实验和预测非单调性变化以改进 MVSSL 方法。

Jun, 2024

使用不平衡的图谱进行状态表示学习

本文提出了一种新的学习方法，利用不平衡的地图来提高自监督学习的效率，并在 AtariARI 基准测试中展示了其比现有算法具有更好的性能。

May, 2023

用于学习判别性低维表示的最大熵线性流形

本篇论文介绍了一种称为 Maximum Entropy Linear Manifold (MELM) 的方法，通过它可以在数据分类的同时，得到 2 维的线性降维表示；实验证明，该方法具有较强的分类性能。

Apr, 2015

元综合正则化的自监督表示学习

自我监督学习是通过利用数据增强策略产生相似表示来捕捉多个样本的共享信息，进而学习包含更加全面特征的模型方法。我们提出了一个称为 CompMod with Meta Comprehensive Regularization 的模块，通过双层优化机制来更新模型，使其能够捕捉到更全面的特征。此外，我们还从信息理论和因果反事实的角度为我们提出的方法提供了理论支持。实验证明，我们的方法在多个基准数据集上在分类、目标检测和实例分割任务中取得了显著的改进。

Mar, 2024

信息最大化准则的自监督学习

本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

Sep, 2022

通过互信息估计和最大化学习深层表示

通过在深度神经网络编码器的输入和输出之间最大化互信息来进行无监督学习表示，该方法将表示的特征与先前分布进行敌对匹配，优于其他无监督学习方法并能够在多个分类任务中与全监督学习相竞争，深度信息最大化（DIM）为特定端点目标的无监督学习表示开启了新的途径。

Aug, 2018

MD-Manifold: 基于医学距离的表征学习方法，用于医学概念和患者表征

MD-Manifold 是一种新颖的医学概念和患者表示法的框架，结合了数据增强方法、概念距离度量和患者网络，将关键的医学领域知识和先前数据信息纳入医学任务中，能够更准确地反映医学知识和患者特点，并在各种下游医学数据分析任务中优于其他现有技术。

Apr, 2023

寻求收益壁垒：通过最佳流形进行高维 SRAM 评估

通过介绍具有无限组件的新型优化流形概念，桥接基于代理模型和重要性抽样（IS）收益估计方法，推导出子优化流形和最优超球体方法，提出了一种名为 OPTIMIS 的新型收益估计方法，具有优越的性能，超过了最优方法在高维 SRAM 评估中的效率和准确性。

Jul, 2023

深度神经网络内存高效训练的流形正则化

本文提出了一种利用归纳偏置驱动的网络设计原则和基于层的流形正则化目标来实现神经网络学习过程中提高内存效率的框架，该框架的使用结果相对于传统学习技术具有更好的绝对性能和实证一般化误差，可以无缝地与现有的网络压缩方法相结合。

May, 2023

基于均匀地标采样和约束局部线性嵌入的可伸缩流形学习

基于机器学习和数据科学的关键方法之一，流形学习旨在揭示高维空间中复杂非线性流形内部的内在低维结构。我们提出了一种可扩展的流形学习方法，可以高效地处理大规模和高维数据，从而应用于可视化、分类等领域。

Jan, 2024