Nov, 2017

神经网络的 Fisher-Rao 度量、几何和复杂性

PDF
TL;DR从不变性观点研究深度神经网络的几何和容量度量之间的关系，引入了具有期望不变性的 Fisher-Rao 范数作为新的容量概念，并发现了其分析特征和规范比较不等式，证明了其作为多种基于范数的复杂度度量的伞兵角色，讨论了引入新的度量方式对泛化误差的影响，使用 CIFAR-10 数据集的大量数值实验支持了理论分析的发现，研究的分析基于多层整流器网络局部导数的关键结构引理。
geometrycapacity measuresneural networksfisher-rao normgeneralization error
发现论文，激发创造
  • 学习大型复杂模型的相对自然梯度

    通过提取神经元系统的局部组件，定义相对的费舍尔信息度量并演示了如何利用这一概念进一步改进优化，提高神经网络的学习效果。

    Jun, 2016

  • 神经表征的广义形状度量

    为了理解生物和人工神经网络的操作，研究者们需要一个标准化的工具集来量化其结构等因素对神经表征的影响，这篇论文提出了一族量化表征不同神经网络之间相似性的度量空间，利用这个框架使得神经网络表征可以整合进任意的机器学习方法中，然后利用大规模生物和深度学习数据集来验证这些方法，最终找出了神经表征之间与结构和性能之间的关系。

    Oct, 2021

  • 基于边界的多类别泛化界限与几何复杂度

    通过对深度神经网络的一种复杂性度量，即几何复杂性，进行研究，我们提出了一种新的上界推导出的泛化误差，该泛化误差与网络的几何复杂性的边际归一化相关，并适用于广泛的数据分布和模型类。同时，我们对 ResNet-18 模型在 CIFAR-10 和 CIFAR-100 数据集上进行实验证明该广义化界是准确的。

    May, 2024

  • 深度 ReLU 网络的度量学习和相似性学习的泛化分析

    我们通过利用真实度量（目标函数）的特定结构，构建了一个近似真实度量的结构化深层 ReLU 神经网络，从而研究了度量和相似性学习的泛化性能，推导了度量和相似性学习问题的过度泛化误差界限，并通过仔细估计逼近误差和估计误差，得出了一个最佳的过度风险率，这是首次的度量和相似性学习的过度泛化错误分析，此外，我们还研究了具有一般损失的度量和相似性学习的真实度量的属性。

    May, 2024

  • 探究过度参数化在神经网络泛化中的作用

    本研究提出了基于单元能力的复杂度度量，为两层 ReLU 网络提供了更紧密的泛化界限，这可能有助于解释神经网络过参数化的泛化改进现象。同时，我们还提出了一个匹配的 Rademacher 复杂性下限，该下限优于之前神经网络的容量下限。

    May, 2018

  • 神经网络的黎曼度量 I：前馈网络

    本文介绍了四种用于神经网络训练的算法，它们分别适用于不同的可扩展性限制。这些算法基于微分几何的理论，并基于自然梯度使用 Fisher 信息矩阵，或基于 Hessian 方法并缩小尺度以实现可扩展性，同时保持它们的一些关键数学性质。

    Mar, 2013

  • 神经网络规范化容量控制

    研究了一种常规范限制前馈网络的容量、凸性和特征。

    Feb, 2015

  • 神经网络中度量空间和泛化能力

    本文介绍了一种用 topology 中的新型不变量.magnitude 对深度神经网络中的内部表示进行研究、并提出了一种新方法来确定其泛化能力。我们在理论上连接了 magnitude 维度和泛化误差，实验结果表明，所提出的框架可以成为泛化误差的良好指标。

    May, 2023

  • 利用代数拓扑学表征神经网络的容量

    本文提出代数拓扑作为数据复杂性量度，并通过实证分析展示了神经网络的拓扑容量在不同数据复杂度下都呈现相变现象，从而将现有理论和完全连接的神经网络架构的选择联系起来。

    Feb, 2018

  • 距离感知归纳偏好：符合三角不等式的神经网络

    本研究介绍了保证满足三角不等式的新型深度度量学习架构，能够更好地对图距离进行建模，并在多目标强化学习中具有更好的约束条件。

    Feb, 2020