ICMLJun, 2024

最大编码速率削减的全局几何分析

PDF
TL;DR学习结构化和紧凑的深度表示的目标是最大编码速率降低（MCR^2），近来在完全可解释和高效的深度网络架构的推导中引起了越来越多的关注。本文对 MCR^2 问题的所有局部和全局最优解以及其他类型的临界点的性质进行了完全的刻画。通过理论分析和实验验证，证明 MCR^2 具有低维度、有区分度和多样性的表示。
maximal coding rate reductiondeep representationsglobal optimalocal maximizersaddle point
发现论文，激发创造
  • 通过最大编码速率减小原理学习多样化和有区分度的表征

    提出使用 $ ext {MCR}^2$ 最大编码率减少原则来学习区分类别的内在低维结构，可以在有监督学习、自监督学习和无监督学习中以统一的方式学习内在表示，并可产生更鲁棒的标签噪声分类结果。

    Jun, 2020

  • 通过变分形式实现高效极大编码率降低

    采用变分形式的矩阵谱函数，重新定义了 Maximal Coding Rate Reduction（MCR $^2$）目标函数，优化了 MCR $^2$ 的计算效率，提高了图像分类的质量和训练速度，同时这种方法在计算 log-determinant 的场景中也具有重要的实际应用。

    Mar, 2022

  • 通过最大化速率减小实现几何图表示学习

    提出了一种基于几何的无监督图表示学习方法（G2R），它将节点映射到不同的子空间中，并通过最大程度地减小速率来进行优化，并在各种基准测试中表现出优异的节点分类和社区检测任务性能。

    Feb, 2022

  • 最大编码率缩减下的句子表示压缩

    本文介绍了一种使用 MCR2 目标学习额外的投影层来研究句子表示模型 Sentence-BERT 的模型蒸馏方法，新模型具有更低的复杂性和句子嵌入大小，可在语义检索基准上实现可比较的结果。

    Apr, 2023

  • 通过稀疏率减少实现的白盒变压器：压缩无外乎此

    我们认为表示学习的自然目标是将数据的分布压缩和转换为支持在不相关子空间上的低维高斯混合模型。我们通过基于名为稀疏率减少的原则性度量评估这种表示的好坏，该度量同时最大化所学表示的内在信息增益和外在稀疏性。从这个角度来看，包括变压器在内的流行深度网络结构可以看作是实现此度量优化的迭代方案。特别地，我们从这个目标的部分交替优化中推导出一个变压器块：多头自注意算子通过在特征的编码率上实施近似梯度下降步骤来压缩表示，随后的多层感知机稀疏特征。这导致了一系列名为 CRATE 的白盒变压器式深度网络结构，其在数学上是完全可解释的。我们通过去噪和压缩之间的新连接表明，前述压缩编码的逆可以由同一类 CRATE 架构实现。因此，这些衍生的白盒架构对编码器和解码器都是通用的。实验证明，尽管简单，但这些网络确实学习到了大规模实际图像和文本数据集的压缩和稀疏表示，并实现了与高度工程化的基于变压器的模型（ViT，MAE，DINO，BERT 和 GPT2）非常接近的性能。我们相信所提出的计算框架在统一的数据压缩视角下展示了深度学习理论和实践之间的巨大潜力。代码可以在此链接获得: https:// 此 URL。

    Nov, 2023

  • 最大熵编码的自监督学习

    本研究利用 Maximum Entropy Coding 算法优化表征模型，消除表征偏差，提高模型泛化性能并在多项下游任务上取得最先进的性能表现，证明了该算法可以学习可迁移的自我表征模型。

    Oct, 2022

  • ReduNet：基于最大化比率降低原则的白盒深度网络

    该研究提供了一个基于数据压缩和鉴别性表示原理来解释现代深度 (卷积) 神经网络的可行理论框架。该理论框架认为，对于高维多类数据，最优线性判别性表示最大化整个数据集和所有子集的平均值之间的编码率差异。

    May, 2021

  • 局部基于语法的编码：再认识

    本篇论文阐述了基于语法的最小局部编码问题，提出了解决该问题的一种简单的 Zipfian 基准证明方法，并发现最小块编码规则的数量不能明显区分长内存和无内存来源。

    Sep, 2022

  • 学习深度模型：临界点和局部开放性

    该篇论文提出了一个统一框架，确定了训练非凸模型产生的优化问题的局部 / 全局最优等价性，讨论了线性神经网络和具有一定金字塔结构的非线性深层模型的局部 / 全局最优等价性，并提供了简单的充分条件。

    Mar, 2018

  • 基于编码率度量的深度度量学习抗塌陷损失

    我们提出了一种名为反崩溃损失函数的新方法，该方法通过最大化样本特征或类别代理的平均编码率来提高嵌入空间中特征聚类的稀疏性，以防止特征崩溃并促进模型的泛化性能。与现有的前沿方法相比，我们的方法在基准数据集上进行的综合实验表明，其表现优于现有的最先进方法。大量实验还验证了我们的方法在防止嵌入空间崩溃和促进泛化性能方面的有效性。

    Jul, 2024