ICLRMar, 2021

通过拓扑熵计算量化评估 CNN 单元的性能

PDF
TL;DR通过使用代数拓扑工具，通过计算拓扑熵来量化卷积神经网络（CNN）中单个单位的状态，并且已经证明特征熵对于不同网络中的单元给出了准确的状态指示，并可以通过仅研究训练数据上的特征熵来鉴别具有不同泛化能力的网络。
convolutional neural networkalgebraic topologyfeature entropytraining datageneralization ability
发现论文，激发创造
  • 基于熵的深度神经网络引导加速收敛与提升性能

    通过引入基于熵的损失项，我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示，在更少的维度上收敛于更好的测试指标，并在图像压缩和图像分类的实验中展示了其有效性。

    Aug, 2023

  • 用孪生卷积神经网络量化纠缠度

    使用深度卷积神经网络逐步检测多量子位系统的纠缠状态，结合三分体网络并强制对称操作提高检测准确性，从而可扩展遇到新难题的精确预测。

    Oct, 2022

  • 基于 Betti 数的损失面拓扑描述

    通过对多层神经网络中的损失函数的拓扑度量，研究比较深层和浅层架构的复杂性以及其受隐藏单元数量、训练模型和激活函数的影响，揭示了一些特定情况下，添加正则项或在前馈网络中实施跳跃连接等对损失拓扑没有影响。

    Jan, 2024

  • 深度学习的拓扑方法

    在卷积深度神经网络的内部状态上进行拓扑数据分析，以开发对其执行的计算的理解。应用此理解修 改计算以（a）加速计算和（b）改进从一组数字到另一组数字的泛化能力。分析的副产品之一是在图像数据集的新特征上产生几何体，并利用此观察结果开发出一种用于构建许多其他几何体的 CNN 模型的方法，包括由拓扑数据分析构建的图形结构。

    Nov, 2018

  • 熵分数度量：在无需训练的神经架构搜索中解耦拓扑和大小

    通过使用新的无需训练的指标 —— 熵得分来评估模型表达能力，以及与 LogSynflow 的适当组合，使用循环搜索算法分别寻找模型大小和拓扑结构，本论文提出了一种快速且准确的神经架构搜索方法，可在不到 1 个 GPU 小时内设计高性能的混合变压器，用于移动应用的 ImageNet 分类任务。

    Oct, 2023

  • 利用代数拓扑描述神经网络嵌入空间的演化

    通过 Betti 数我们研究了在经过深度神经网络的各个层时，特征嵌入空间的拓扑结构如何变化。我们使用了拓扑同调理论中的方格同调进行了扩展分析，使用了各种流行的深度架构和真实图像数据集。我们证明随着深度的增加，一个拓扑上复杂的数据集会被转换成一个简单的数据集，Betti 数会取得最低可能的值。拓扑复杂度的衰减速率可以量化架构选择对泛化能力的影响。此外，我们从表示学习的角度强调了几种不变性，例如 (1) 相似数据集上的体系结构、(2) 深度可变的嵌入空间、(3) 嵌入空间与输入分辨率 / 大小以及 (4) 数据子采样。为了进一步证明网络的表达能力与泛化能力之间的联系，我们考虑了下游分类任务 (迁移学习) 中预训练模型的排序任务。与现有方法相比，所提出的度量方法与通过微调预训练模型实际可达到的准确性具有更好的相关性。

    Nov, 2023

  • 复杂网络的熵测量：走向一种信息理论的复杂拓扑学

    本文介绍了如何将信息论的关键概念推广到网络中，定义了网络集合的香农熵并解释了其与网络集合的吉布斯熵和冯・诺依曼熵之间的关系，这为通过最大熵理论获得网络零模型解决了关键问题，并在复杂网络领域的推理问题中发挥重要作用。

    Jul, 2009

  • 通过转移熵加速卷积神经网络的学习

    将传输熵（TE）引入卷积神经网络（CNN）架构的学习机制，通过随机选取部分神经元对的信息传输，以实现计算开销与准确性之间的平衡。

    Apr, 2024

  • 揭示黑匣子：用重构熵预测深度神经网络的可训练性

    给定神经网络的初始条件，通过在参数空间中重建输入从相邻激活层到单层辅助网络的级联来预测深层前馈神经网络的可训练区域，从而显著降低整体训练时间，并确定信息流动与深度神经网络的可训练性之间的具体联系。

    Jun, 2024

  • 利用代数拓扑学表征神经网络的容量

    本文提出代数拓扑作为数据复杂性量度，并通过实证分析展示了神经网络的拓扑容量在不同数据复杂度下都呈现相变现象，从而将现有理论和完全连接的神经网络架构的选择联系起来。

    Feb, 2018