研究了深度神经网络的几何属性和数据表示的内在维度，发现最后一个隐藏层的内在维度预测测试集合的分类准确性，这证明了可以广泛应用的神经网络是将数据转换为低维非线性流形的网络。

May, 2019

本文探讨了深度学习在计算机视觉领域的成功是否源于自然图像数据低维结构的存在，研究表明自然图像数据集确实具有很低的内在维度，并且低维度数据集更容易被神经网络学习和泛化。同时提出了一种可以在生成对抗网络（GAN）生成的合成数据上验证维度估计工具的技术。

Apr, 2021

本研究发现神经网络可以学习较低维度的流形，从而在高维数据空间中分解数据，同时又能取得良好的泛化性能，重点关注降维和流形的内在维度等方面。

Jun, 2019

本文研究神经网络的困难难度和最小描述长度，通过在一个较小的随机空间中训练网络，我们测量特定数据集上的内在维度，得出具有大不同规模的模型的数据集内在维度基本相同，以及压缩网络是可以实现的。

Apr, 2018

本文研究了图像表示的内在维度，提出了一种基于深度神经网络的非线性映射算法 DeepMDS，并通过图像匹配验证了其映射的正确性。实验结果表明，在 LFW、IJB-C 和 ImageNet-100 等基准数据集上，深度神经网络表示的内在维度显著低于环境特征的维数。

Mar, 2018

本研究旨在探究卷积神经网络中的设计选择与改进，通过对 R-CNN 检测器的新注释的经验分析，发现现有的最先进的卷积神经网络架构对于不同外观因素不具备不变性，并且不能仅通过增加训练数据来解决问题，需要进行架构变化。在数据增强方面，利用图像渲染可以改善性能，该研究在 Pascal3D + 检测和视点估计任务上报告了最佳结果。

Aug, 2015

本文研究了使用深度神经网络对纹理特征重要的图像数据集进行分类的方法，并通过定义手工特征提取的 VC 维来证明手工特征提取是降低异常误差率的有效工具，同时得出了卷积神经网络、Dropout 网络和 Dropconnect 网络的 VC 维上限以及它们异常误差率的关系。此外，本文还利用内在维度概念验证了基于纹理的数据集比手写数字或其他目标识别数据集本质上更高维，因此更难以被神经网络粉碎，同时还从 n 维流形中计算出样本数据的相对对比度随向量空间维度趋于无限大而消失的规律。

May, 2016

本研究提出了一种可以使卷积神经网络具有局部尺度不变性的简单模型，从而在面对尺度变化时，可以学习到更具有区分性的特征，并减少过度拟合的风险。

Dec, 2014

本文探讨了卷积神经网络在计算机视觉问题中的特征学习，主要关注 CNNs 和工程化表示（如 SIFT 和 HOG）之间的差异。

Jul, 2014

构建公平的深度神经网络是实现可信的人工智能的关键步骤。深入研究影响深度神经网络公平性的因素是减轻模型偏见的基础，但目前的方法在准确预测深度神经网络偏见方面存在局限性，仅依赖于训练样本数量并缺乏更精确的测量工具。在这里，我们建立了一个几何学视角来分析深度神经网络的公平性，全面探索了深度神经网络内部如何塑造数据集的本质几何特征 - 感知流形的本质维度和维度对深度神经网络公平性的影响。基于多项发现，我们提出了内在维度正则化（IDR）的方法，通过促进学习简洁而平衡的类别感知流形，增强模型的公平性和性能。在各种图像识别基准测试中，IDR 显著减轻模型偏见并改善其性能。

Apr, 2024