给定一个模型和一个形式语法，该方法分配一个表示模型对未见样本进行泛化能力的得分，该得分与模型的训练数据量成反比。通过使用形式语言作为基准，我们评估了不同架构的神经网络，并发现使用最小描述长度目标（MDL）进行训练的模型比使用标准损失函数进行训练的模型具有更好的泛化能力，并且需要更少的数据量。

Aug, 2023

该研究提出了一种神经网络压缩的通用框架，通过最小描述长度原则和熵来量化其复杂度并使用基于梯度的优化技术实现了优秀的压缩结果。

Dec, 2018

从动态或行为数据中重建网络的一个基本问题在于以能够防止过拟合的方式确定最适合的模型复杂度，并生成具有统计合理边数的推断网络。与常见做法 L1 正则化结合交叉验证相比，本文提出了一种基于层级贝叶斯推断和权重量化的非参数正则化方法，该方法能够提高网络重建的准确性，并且不需要事先知道边的数量。特别是在关于大规模物种数量的微生物群落间相互作用网络重建方面，我们展示了该方法的应用，并演示了利用推断模型预测系统干预结果的能力。

May, 2024

这篇论文是一篇对最小描述长度（MDL）原理的介绍和概述，讨论了在统计学、机器学习和模式识别等领域中广泛应用的归纳推理理论。MDL 可以被视为惩罚最大似然和贝叶斯方法的一种强大扩展，其中惩罚函数和先验分布被替换成更一般的幸运函数。

Aug, 2019

本文通过实证方法评估被从业者和理论界广泛认可的神经网络的常见假设，并证明了神经网络的损失函数存在着许多亚最优解，小范数参数不是泛化的最优解，ResNets 不符合宽网络理论，而且跳跃连接与批归一化之间的相互作用起到了作用，且在实际环境中，排名与泛化或鲁棒性无关。

Oct, 2019

本文提出了一种信息论探测方法 —— 最小描述长度（MDL）探测来评估预训练表示编码语言属性的效果，该方法不仅能考虑到探针模型的大小，还能评估实现高质量预测所需的数据量。

Mar, 2020

设计高效的统计监督学习算法的一大挑战是找到不仅在可用训练样本上表现良好，也在未知数据上表现良好的表示方法。本文建立了一个压缩性框架，通过标签或潜在变量（表示）的 “最小描述长度”（MDL）来推导表示学习算法的泛化误差的上界。通过与固定先验的训练集和测试集的表示（或标签）分布之间的 “多字母” 相对熵，而不是通常认为反映算法泛化能力的编码器输入和表示之间的互信息，建立了新的界限。本文的压缩性方法是信息论的，基于 Blum-Langford 的 PAC-MDL 界限，并引入了两个关键因素：块编码和有损压缩。最后，本文通过引入新的数据依赖性先验，部分利用了理论结果。数值模拟展示了选择良好的先验与 IB 中使用的经典先验相比的优势。

Feb, 2024

通过实验证明，即使考虑到参数编码，深度神经网络仍能够压缩训练数据，而这种压缩视角最初激励了神经网络中变分方法的使用。我们发现，这些变分方法提供了惊人的较差压缩界限，这可能解释了变分方法在深度学习中相对较差的实际性能。另一方面，简单的增量编码方法在深度网络上产生了出色的压缩效果，从而证明了 Solomonoff 的方法。

Feb, 2018

本文研究一类可以用于模型英语句子的形式语言，证明神经语言模型可以在此背景下零误差地解决下一个单词预测任务，强调了嵌入层和完全连接部件在神经语言模型中的不同作用。

Jun, 2023

本文介绍了一种新的框架，将逻辑语句编译成计算图，用于指导神经网络的训练和预测，在机器理解、自然语言推理、文本分块等任务表现出较高性能，特别是在低数据情况下表现出色。

Jun, 2019