这篇论文是一篇对最小描述长度（MDL）原理的介绍和概述，讨论了在统计学、机器学习和模式识别等领域中广泛应用的归纳推理理论。MDL 可以被视为惩罚最大似然和贝叶斯方法的一种强大扩展，其中惩罚函数和先验分布被替换成更一般的幸运函数。

Aug, 2019

本文提出了一种信息论探测方法 —— 最小描述长度（MDL）探测来评估预训练表示编码语言属性的效果，该方法不仅能考虑到探针模型的大小，还能评估实现高质量预测所需的数据量。

Mar, 2020

利用最小描述长度程序从噪声数据中学习，包括递归程序，在多个领域（包括药物设计、游戏玩耍和程序合成）的实验表明，我们的方法在预测准确性上可以超出现有方法并适应适度的噪声量。

Aug, 2023

设计高效的统计监督学习算法的一大挑战是找到不仅在可用训练样本上表现良好，也在未知数据上表现良好的表示方法。本文建立了一个压缩性框架，通过标签或潜在变量（表示）的 “最小描述长度”（MDL）来推导表示学习算法的泛化误差的上界。通过与固定先验的训练集和测试集的表示（或标签）分布之间的 “多字母” 相对熵，而不是通常认为反映算法泛化能力的编码器输入和表示之间的互信息，建立了新的界限。本文的压缩性方法是信息论的，基于 Blum-Langford 的 PAC-MDL 界限，并引入了两个关键因素：块编码和有损压缩。最后，本文通过引入新的数据依赖性先验，部分利用了理论结果。数值模拟展示了选择良好的先验与 IB 中使用的经典先验相比的优势。

Feb, 2024

本文提出了一个框架，利用回归分析和最小描述长度（MDL）来寻找一组具有共同特征的最大区域，以便为预测家庭收入确立单一政策，并使用该框架的结果作为指导方针，支持政策制定者制定与贫困和其他问题有关的政策。

Jul, 2019

本文根据 Kolmogorov 复杂性提取因果关系方法，利用最小描述长度原则模型比较非潜变量模型和潜变量模型，采用概率 PCA 方法寻找成因的潜在因素，在真实和合成的数据实验中表现良好，准确性与置信度相辅相成。

Jan, 2019

通过使用无监督生成模型进行反事实数据增强，降低 MMI 方法在挑选文本方面的性能，从而更好地捕捉感兴趣的信号，并提高基于解释性自然语言处理（NLP）的合理性模型的性能。

Jan, 2022

本文介绍了数学符号识别的重要性，给出了 Math Formula Question Answering Dataset 作为 MIDR 任务的数据集，并对名词短语排名方法进行了创新性变化，提供了问题洞察和性能基线。同时，提供了有效数据集的特征问题的立场。

Apr, 2023

该研究采用基于 LRD 理论的可靠估计程序，针对含有百万条数据的符号序列数据集测量了 LRD，并表明 LRD 更好地指导 RNN 的建模，这为新的设计提供了灵感，从而实现了在语言理解和顺序推荐领域的最新成果，计算成本只是很小的一部分。

May, 2019

神经网络在形式语言学习任务中表现出了较好的逼近能力，然而，理论上证明了某些结构可以达到完美的广义，但实际上常用的目标函数（如 L1、L2 正则化、early-stopping 和 dropout）并不能得到理论上正确的解，而采用最小描述长度目标函数则能达到最优解。

Feb, 2024