May, 2019

深度神经网络中数据表示的内在维度

HTML
PDF
TL;DR研究了深度神经网络的几何属性和数据表示的内在维度，发现最后一个隐藏层的内在维度预测测试集合的分类准确性，这证明了可以广泛应用的神经网络是将数据转换为低维非线性流形的网络。
发现论文，激发创造
  • 深度神经网络中的降维压缩和扩展

    本研究发现神经网络可以学习较低维度的流形，从而在高维数据空间中分解数据，同时又能取得良好的泛化性能，重点关注降维和流形的内在维度等方面。

    Jun, 2019

  • 图像的内在维度及其对学习的影响

    本文探讨了深度学习在计算机视觉领域的成功是否源于自然图像数据低维结构的存在，研究表明自然图像数据集确实具有很低的内在维度，并且低维度数据集更容易被神经网络学习和泛化。同时提出了一种可以在生成对抗网络（GAN）生成的合成数据上验证维度估计工具的技术。

    Apr, 2021

  • 神经网络中的内在维数、持久同调和泛化

    通过利用拓扑数据分析，我们建立了一个通用的计算工具，可以有效地计算深度神经网络的内在维度，从而预测其泛化错误。我们发现，误差可以用所谓的“持久同调维数”来等价限制，同时不需要对训练动力学进行任何额外的几何或统计假设，并且进一步提供可视化工具来帮助理解深度学习中的泛化。

    Nov, 2021

  • 深度学习中的表征复杂度

    通过分析学习表示在分离不同类别方面的有效性，使用简单的复杂度指标，研究表明数据复杂度随着网络层数增加和训练的进展而变化，受网络设计和训练样本的影响

    Sep, 2022

  • 目标检测网络中数据集的维度

    该研究旨在探讨卷积神经网络（CNNs）在自动驾驶中目标检测方面的应用，以及数据的内在维度与不同层的精度关系。研究发现在特征提取过程中，正常数据与增强数据的表示存在差异。

    Oct, 2022

  • 神经网络中从损失平坦性到压缩表示的简单连接

    深度神经网络的泛化能力在参数空间的损失景观形状和特征空间（即单位活动的空间）的表示流形结构两个不同的方法中已经被研究，但很少一起研究并显式连接。我们提出了一个简单的分析，建立了它们之间的联系，并展示了表明在深度神经网络的学习的最后阶段，神经表示流形的体积压缩与参数优化过程中所探索的最小值周围的损失的平坦性相关的结果。

    Oct, 2023

  • 通过学习不变表示来打破深度神经网络中的维数诅咒

    通过研究深度学习模型的架构和数据内在结构之间的关系，本文探讨了深度学习的理论基础，并通过实验和物理启发式玩具模型的结合，揭示了它们的内在工作原理，旨在填补理论与实践之间的鸿沟。

    Oct, 2023

  • 通过逐层特征压缩和差异化理解深度表示学习

    通过研究深度线性网络的中间特征，本文量化揭示了特征在层级表示中的演化规律，证明线性网络的每一层以几何速率压缩类内特征，与通过数据的层数线性关系的方式区分类间特征，这不仅在深度非线性网络中得到验证，而且在迁移学习中具有实际应用意义。

    Nov, 2023

  • 内在数据集属性对泛化的影响：揭示自然图像与医学图像之间的学习差异

    本研究调查神经网络在不同图像领域中的学习差异，发现医学图像和自然图像领域之间存在着显著的缩放差异，并提出了一种与数据科学指标相关的缩放规律，同时揭示了数据集属性对神经网络泛化、表示学习和鲁棒性的影响。

    Jan, 2024

  • 预处理与压缩：通过内在维度理解成像领域中隐藏表征的优化

    本研究探讨了神经网络的隐藏表征内在维度在不同层次上的演变，揭示了自然影像与医学影像模型之间的显著差异。研究发现医学影像模型在网络较早阶段就达到内在维度的峰值，表明两类数据在特征抽象性上的不同，且这种峰值与输入数据的内在信息内容密切相关。这些发现为神经网络的学习特征如何受训练数据影响提供了新见解。

    Aug, 2024