表示学习的最小描述长度和泛化保证

Feb, 2024

表示学习的最小描述长度和泛化保证

Minimum Description Length and Generalization Guarantees for Representation Learning

Milad Sefidgaran, Abdellatif Zaidi, Piotr Krasnowski

TL;DR设计高效的统计监督学习算法的一大挑战是找到不仅在可用训练样本上表现良好，也在未知数据上表现良好的表示方法。本文建立了一个压缩性框架，通过标签或潜在变量（表示）的 “最小描述长度”（MDL）来推导表示学习算法的泛化误差的上界。通过与固定先验的训练集和测试集的表示（或标签）分布之间的 “多字母” 相对熵，而不是通常认为反映算法泛化能力的编码器输入和表示之间的互信息，建立了新的界限。本文的压缩性方法是信息论的，基于 Blum-Langford 的 PAC-MDL 界限，并引入了两个关键因素：块编码和有损压缩。最后，本文通过引入新的数据依赖性先验，部分利用了理论结果。数值模拟展示了选择良好的先验与 IB 中使用的经典先验相比的优势。

Abstract

A major challenge in designing efficient statistical supervised learning algorithms is finding representations that perform well not only on available training samples but also on unseen data. While the study of representation learning has spurred much interest, most existing such approaches are heuristic; and very little is known about theoretical generaliz

representation learning generalization error minimum description length compressibility framework information bottleneck

发现论文，激发创造

最小描述长度的再探讨

这篇论文是一篇对最小描述长度（MDL）原理的介绍和概述，讨论了在统计学、机器学习和模式识别等领域中广泛应用的归纳推理理论。MDL 可以被视为惩罚最大似然和贝叶斯方法的一种强大扩展，其中惩罚函数和先验分布被替换成更一般的幸运函数。

Aug, 2019

具有最小描述长度的信息论探测

本文提出了一种信息论探测方法 —— 最小描述长度（MDL）探测来评估预训练表示编码语言属性的效果，该方法不仅能考虑到探针模型的大小，还能评估实现高质量预测所需的数据量。

Mar, 2020

基于最小描述长度原理的网络重建

从动态或行为数据中重建网络的一个基本问题在于以能够防止过拟合的方式确定最适合的模型复杂度，并生成具有统计合理边数的推断网络。与常见做法 L1 正则化结合交叉验证相比，本文提出了一种基于层级贝叶斯推断和权重量化的非参数正则化方法，该方法能够提高网络重建的准确性，并且不需要事先知道边的数量。特别是在关于大规模物种数量的微生物群落间相互作用网络重建方面，我们展示了该方法的应用，并演示了利用推断模型预测系统干预结果的能力。

May, 2024

分布式变分表示学习

研究了分布式表示学习的问题，提出了信息瓶颈方法的分布式模型，并探究了离散记忆和向量高斯数据模型下的最优复杂性 - 相关性折衷。通过两种算法计算并优化编码映射，证明了该方法在真实数据集上的有效性。

Jul, 2018

深度学习模型的描述长度

通过实验证明，即使考虑到参数编码，深度神经网络仍能够压缩训练数据，而这种压缩视角最初激励了神经网络中变分方法的使用。我们发现，这些变分方法提供了惊人的较差压缩界限，这可能解释了变分方法在深度学习中相对较差的实际性能。另一方面，简单的增量编码方法在深度网络上产生了出色的压缩效果，从而证明了 Solomonoff 的方法。

Feb, 2018

深度神经网络的熵受限训练

该研究提出了一种神经网络压缩的通用框架，通过最小描述长度原则和熵来量化其复杂度并使用基于梯度的优化技术实现了优秀的压缩结果。

Dec, 2018

学习细节：基于贝叶斯结构学习的实例级别

提出了一种新的概率图模型结构学习方法，通过在随机变量实例化级别上操作来学习，推广和解释在这些难以捉摸的领域中，从而解决机器学习方法在精度不尽如人意的情况下的问题，并且通过 Bayesian Knowledge Bases（BKBs）来利用 Information Thermodynamics 和 MDL 原理解决了结构化选择问题并提高了学习效果，最终运用在乳腺癌基因突变数据学习基因调节网络。

Mar, 2023

代数机器学习

机器学习中的代数学习方法，通过从训练数据中找到一个最小大小和最大自由度的代数表示来实现泛化，该方法不需要正则化或函数最小化。该方法在手写字符识别和无监督学习等问题上取得了高精度，可能为数据驱动的概念定义和大规模并行化提供有利的结合。

Mar, 2018

学习算法泛化能力的信息论分析

本研究提出了一种基于信息理论的泛化误差上界方法，用以控制模型的输入输出互信息，进而指导在数据适配和泛化之间寻找平衡点。在此基础上，我们探索了一些方法，包括利用相对熵或随机噪声来正则化 ERM 算法等。这些方法扩展和改进了 Russo 和 Zou 的最近工作。

May, 2017

压缩视觉表征

本文提出将信息压缩融合到自监督学习的对比学习和隐变量引导方法中，可以得到更好、更鲁棒的视觉表示，实验证明添加压缩确实可以显著提高在多个领域中的模型性能和稳健性。

Sep, 2021