Oct, 2020

利用信息理论研究深度神经网络的因果结构

PDF
TL;DR本文提出了一种度量深度神经网络在训练过程中因果结构的度量方法，即有效信息（EI），用于评估每个层的因果影响节点和边缘在其下游目标上的度量。通过分解 EI 以检查每个层的敏感性、退化性和整合信息量，可以在 “因果平面” 上可视化每个层次的连接方式如何随时间变得更加敏感或退化，以及集成如何在训练期间改变。结果有助于理解深度神经网络的泛化能力，并为使 DNN 具有更高的泛化性和可解释性提供基础工具。
deep neural networkscausal structuregeneralizabilityinformation theoryei
发现论文，激发创造
  • 深度学习与信息瓶颈原理

    使用信息瓶颈（IB）原理分析深度神经网络（DNN）的信息流，并得到 DNN 的理论极限及有限样本泛化的上限，同时探讨了网络的优化模型，层数和特征 / 连接与信息瓶颈权衡中的分叉点的关系，其中对应了网络层级结构上的结构相变。

    Mar, 2015

  • 透过信息揭示深度神经网络的黑盒

    本研究通过信息平面可视化深度神经网络，发现在标准深度学习中，大部分训练周期都用于对输入进行压缩以生成有效表示，而非适应标签，当训练误差变小并且随机梯度下降下降进入随机扩散阶段时，表征压缩阶段开始。隐藏层的加入可以极大的缩短训练时间。

    Mar, 2017

  • 深度神经网络中信息存储的位置在哪里？

    通过测量深度神经网络中的信息与激活之间的有效信息，建立了信息复杂度与推广和不变性之间的新关系，并表明低信息复杂度的模型不仅能更好地推广，而且会学习到未来输入的不变表示。

    May, 2019

  • 利用信息论概念理解自编码器

    本文从信息论的角度出发，提出了一种理论和系统性的方法，详细介绍了深度学习中数据的流动和自编码器的设计，探究了互信息在描述数据学习上的重要性，并针对均方误差的训练提出了三个基本特性，这对自编码器的最优设计、替代前馈训练方法的设计、以及泛化问题有直接的影响。

    Mar, 2018

  • 关于网络科学和互信息的深度神经网络解释

    本文提出了一种新的方法来解释深度学习模型，并通过结合互信息和网络科学探究了信息在前馈网络中的流动。我们展示了高效近似互信息可以创造一个信息度量，用于量化深度学习模型中任意两个神经元之间流动的信息量，并提出了神经信息流（NIF）技术，用于编码信息流并提供特征归因。

    Jan, 2019

  • 通过因果发现和领域知识融合提升神经网络性能

    我们提出了一种名为因果感知神经网络（CINN）的通用方法，用于将观测变量之间的层次化因果结构编码到神经网络中，从而提高其预测性能。通过将因果性结构化知识映射到神经网络的逐层设计中，CINN 通过连续优化问题将因果关系发现转化为定向无环图（DAG）学习来系统地从观测数据中发现因果关系，并通过专用架构和定制的损失函数将发现的层次化因果结构编码到神经网络中，实现了中间节点和叶节点的联合学习，显著提高了预测性能。

    Nov, 2023

  • 关于无数据结构化剪枝的因果推断

    本文从因果推理的角度应对神经网络尺寸扩大导致的资源消耗过高的问题，提出一种评分机制来进行神经网络的结构化剪枝和压缩，实现了在各种数据集和模型尺寸下的竞争性表现。

    Dec, 2021

  • 深度神经网络模型中的熵和互信息

    本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

    May, 2018

  • 深度神经网络的信息论泛化界

    深度神经网络在实际应用中表现出卓越的泛化能力，本研究旨在通过信息理论的泛化界限来捕捉深度对于监督学习的影响和益处。通过从网络内部表示的训练和测试分布的 Kullback-Leibler（KL）散度或 1-Wasserstein 距离导出了两个层次性的泛化误差界限。KL 散度界限随着层索引的增加而收缩，而 Wasserstein 界限暗示了存在一个层作为泛化漏斗，它达到了最小的 1-Wasserstein 距离。在具有线性 DNN 的二元高斯分类设置下，推导出了两个界限的解析表达式。通过分析三个正则化 DNN 模型（Dropout，DropConnect 和高斯噪声注入）的连续层之间的强数据处理不等式（SDPI）系数，量化了相关信息度量在网络深入时的收缩情况。这使得我们的泛化界限能够捕捉与网络架构参数相关的收缩情况。将结果特化为具有有限参数空间和 Gibbs 算法的 DNNs 表明，在这些示例中，更深而较窄的网络架构具有更好的泛化能力，尽管这个观点的广泛适用性仍然有待讨论。

    Apr, 2024

  • 深度神经网络信息流估算

    研究深度神经网络训练过程中信息流和内部表示的演化，旨在阐明信息瓶颈理论的压缩方面。通过引入辅助 DNN 框架并通过开发严格估算器观察不同模型的压缩现象，最终将隐藏表示的几何聚类确定为真正感兴趣的现象。

    Oct, 2018