Jul, 2022

利用输入压缩来界定广义误差：无限宽度神经网络的实证研究

PDF
TL;DR本文探讨了利用输入和最终层表示之间的互信息来估算深度神经网络广义误差，并使用输入压缩边界将互信息和广义误差联系起来，证明其在许多情况下表现优异，有助于消除试错的过程。
generalization errordeep neural networksmutual informationinput compressionperformance assessment
发现论文，激发创造
  • DNN 的概率表示：连接互信息和泛化

    本文提出了一种概率表示方法，用于准确估计深度神经网络的互信息，并利用估计器验证了信息理论对泛化的解释，得出了比现有方法更紧密的泛化界限。

    Jun, 2021

  • 神经网络的切片互信息广义界限

    通过切片参数空间，我们针对机器学习算法提出新的信息理论泛化界限，证明切片可以提高泛化，并通过压缩模型的失真来收紧泛化界限，从而实现对神经网络的信息理论泛化界限的计算。

    Jun, 2024

  • 深度神经网络的信息论泛化界

    深度神经网络在实际应用中表现出卓越的泛化能力，本研究旨在通过信息理论的泛化界限来捕捉深度对于监督学习的影响和益处。通过从网络内部表示的训练和测试分布的 Kullback-Leibler（KL）散度或 1-Wasserstein 距离导出了两个层次性的泛化误差界限。KL 散度界限随着层索引的增加而收缩，而 Wasserstein 界限暗示了存在一个层作为泛化漏斗，它达到了最小的 1-Wasserstein 距离。在具有线性 DNN 的二元高斯分类设置下，推导出了两个界限的解析表达式。通过分析三个正则化 DNN 模型（Dropout，DropConnect 和高斯噪声注入）的连续层之间的强数据处理不等式（SDPI）系数，量化了相关信息度量在网络深入时的收缩情况。这使得我们的泛化界限能够捕捉与网络架构参数相关的收缩情况。将结果特化为具有有限参数空间和 Gibbs 算法的 DNNs 表明，在这些示例中，更深而较窄的网络架构具有更好的泛化能力，尽管这个观点的广泛适用性仍然有待讨论。

    Apr, 2024

  • 深度神经网络的信息瓶颈分析通过有损压缩

    该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

    May, 2023

  • 基于互信息的泛化误差界限的紧缩

    利用信息论推导出监督学习算法的泛化误差的信息熵上界，能够更全面地考虑损失函数的条件，并且在应用于嘈杂和迭代算法时能够给出比现有结果更紧密的泛化误差表征。

    Jan, 2019

  • 将互信息与收紧泛化界限相结合

    该论文介绍了一种将锁链法和互信息法结合起来得到算法相关和利用假设间的相关性的泛化界限的技术，并提供了一个实例，其中我们的界限显著优于锁链和互信息界限；作为推论，当学习算法从高概率的小假设子集中选择其输出时，紧缩了杜德利不等式。

    Jun, 2018

  • 基于边界的多类别泛化界限与几何复杂度

    通过对深度神经网络的一种复杂性度量，即几何复杂性，进行研究，我们提出了一种新的上界推导出的泛化误差，该泛化误差与网络的几何复杂性的边际归一化相关，并适用于广泛的数据分布和模型类。同时，我们对 ResNet-18 模型在 CIFAR-10 和 CIFAR-100 数据集上进行实验证明该广义化界是准确的。

    May, 2024

  • 深度神经网络信息流估算

    研究深度神经网络训练过程中信息流和内部表示的演化，旨在阐明信息瓶颈理论的压缩方面。通过引入辅助 DNN 框架并通过开发严格估算器观察不同模型的压缩现象，最终将隐藏表示的几何聚类确定为真正感兴趣的现象。

    Oct, 2018

  • 基于压缩的非压缩网络界限：大型可压缩深度神经网络统一泛化误差分析

    本文提出一种统一框架，将压缩基础界限转化为非压缩原始网络的界限，并建立数据相关的泛化误差界限，比数据独立的误差界限更紧密。

    Sep, 2019

  • 通过条件互信息推理广义化问题

    该论文提出了一个信息理论框架来研究机器学习算法的泛化性能，利用条件互信息量化算法输出和训练数据之间的关系，并提出基于 VC 维、压缩方案、差分隐私等方法来获得有界的条件互信息，从而得出泛化的各种形式。

    Jan, 2020