May, 2019

深度神经网络中数据表示的内在维度

PDF
TL;DR研究了深度神经网络的几何属性和数据表示的内在维度，发现最后一个隐藏层的内在维度预测测试集合的分类准确性，这证明了可以广泛应用的神经网络是将数据转换为低维非线性流形的网络。
deep neural networksintrinsic dimensionalityrepresentationclassification accuracylow-dimensional manifolds
发现论文，激发创造
  • 大型 Transformer 模型的隐藏表示的几何学

    研究表明，transformers 在蛋白质语言任务和图像重建任务中的表示以非常相似的方式演化，从而呈现出数据流形在隐藏层中的几何和统计特性，而数据流形的语义结构在第一阶段触发。基于这些观察结果，建议使用内在维度作为无监督代理，以确定下游学习任务更合适的层次。

    Feb, 2023

  • 图像表示的内在维度

    本文研究了图像表示的内在维度，提出了一种基于深度神经网络的非线性映射算法 DeepMDS，并通过图像匹配验证了其映射的正确性。实验结果表明，在 LFW、IJB-C 和 ImageNet-100 等基准数据集上，深度神经网络表示的内在维度显著低于环境特征的维数。

    Mar, 2018

  • 大规模几何学习的内在维度

    本文提出了确定内在维度函数的计算方法，通过将数学测量集中现象公理地与内在维度联系起来，我们证明了其计算的可行性，并在模型中体现了复杂数据的几何特性，特别地，我们提出了一种将邻域信息纳入内在维度的主要方式，使得对常见图学习过程的新洞察成为可能。

    Oct, 2022

  • 图像的内在维度及其对学习的影响

    本文探讨了深度学习在计算机视觉领域的成功是否源于自然图像数据低维结构的存在，研究表明自然图像数据集确实具有很低的内在维度，并且低维度数据集更容易被神经网络学习和泛化。同时提出了一种可以在生成对抗网络（GAN）生成的合成数据上验证维度估计工具的技术。

    Apr, 2021

  • 深度神经网络中的降维压缩和扩展

    本研究发现神经网络可以学习较低维度的流形，从而在高维数据空间中分解数据，同时又能取得良好的泛化性能，重点关注降维和流形的内在维度等方面。

    Jun, 2019

  • 通过学习不变表示来打破深度神经网络中的维数诅咒

    通过研究深度学习模型的架构和数据内在结构之间的关系，本文探讨了深度学习的理论基础，并通过实验和物理启发式玩具模型的结合，揭示了它们的内在工作原理，旨在填补理论与实践之间的鸿沟。

    Oct, 2023

  • 超越噪音：最佳邻域识别下的内在维数估计

    在这项工作中，我们介绍了一种自动选择合适尺度的协议，该尺度能够使内在维度具有意义且有用，并且通过对人工和真实数据集的基准测试来证明了该程序的实用性和鲁棒性。

    May, 2024

  • 目标检测网络中数据集的维度

    该研究旨在探讨卷积神经网络（CNNs）在自动驾驶中目标检测方面的应用，以及数据的内在维度与不同层的精度关系。研究发现在特征提取过程中，正常数据与增强数据的表示存在差异。

    Oct, 2022

  • 揭示和减缓 DNNs 的一般偏差通过感知流形的内在维度

    构建公平的深度神经网络是实现可信的人工智能的关键步骤。深入研究影响深度神经网络公平性的因素是减轻模型偏见的基础，但目前的方法在准确预测深度神经网络偏见方面存在局限性，仅依赖于训练样本数量并缺乏更精确的测量工具。在这里，我们建立了一个几何学视角来分析深度神经网络的公平性，全面探索了深度神经网络内部如何塑造数据集的本质几何特征 - 感知流形的本质维度和维度对深度神经网络公平性的影响。基于多项发现，我们提出了内在维度正则化（IDR）的方法，通过促进学习简洁而平衡的类别感知流形，增强模型的公平性和性能。在各种图像识别基准测试中，IDR 显著减轻模型偏见并改善其性能。

    Apr, 2024

  • 通过激活函数的内在维度将正则化和泛化联系起来

    本文研究了模型的内在维度对其泛化能力的影响，通过对验证集和训练集的表现进行分析，提出了通用的规则以改善在一个模型内提取特征数据时可能遇到的问题。

    Nov, 2022