本研究发现神经网络可以学习较低维度的流形,从而在高维数据空间中分解数据,同时又能取得良好的泛化性能,重点关注降维和流形的内在维度等方面。
Jun, 2019
研究了深度神经网络的几何属性和数据表示的内在维度,发现最后一个隐藏层的内在维度预测测试集合的分类准确性,这证明了可以广泛应用的神经网络是将数据转换为低维非线性流形的网络。
May, 2019
本文探讨了深度学习在计算机视觉领域的成功是否源于自然图像数据低维结构的存在,研究表明自然图像数据集确实具有很低的内在维度,并且低维度数据集更容易被神经网络学习和泛化。同时提出了一种可以在生成对抗网络(GAN)生成的合成数据上验证维度估计工具的技术。
Apr, 2021
本研究论述了机器学习算法在学习过程中的表示问题及应用,并就深度学习模型、框架和关键问题等进行了探讨和分析。
Nov, 2022
为了了解神经网络不透明的黑盒表示法,本研究提出了一种基于 INNs 的方法来恢复任务特定和已学习不变量,将其变成易于理解的语义概念,并在不影响性能的情况下进行后期解释。
Aug, 2020
该研究通过几何视角揭示深度学习的关键在于学习数据的流形结构和概率分布,并提出一种控制潜在空间中概率分布的最优质量传递理论。
May, 2018
我们提出了一种基于无监督自动学习的方法,可以学习出具有小样本复杂度的好的表示方法,在视觉对象识别等领域可以得到应用。通过无监督学习期间存储的一组模板,可以对每个图像块计算一种不变而又唯一的(有区分性的)签名,从而从很少的有标记例子中学习图像识别。
Nov, 2013
该研究在理论上研究了深度神经网络在不变函数中的逼近和复杂度特性,证明了不变函数可以被各种类型的神经网络模型进行渐近逼近,并且提供应用于高分辨率信号的参数估计和预测的技术。
Oct, 2022
本文提出了一种新的视角 —— 通过研究训练样本的深度表示子空间的维数,来理解在具有大量错误类标的数据集上训练准确的深度神经网络(DNNs)的普适性。根据这一发现,作者开发了一种新的维度驱动型学习策略,该策略在训练过程中监测子空间的维度并相应地调整损失函数,实验证明该方法可以高度容忍大量含有错误标签的数据,并能有效学习捕捉数据分布的低维局部子空间。
Jun, 2018
本文通过对深度学习的数据(D)、模型(M)和推理算法(I)进行联合分析,提出了解决高维数据下维数灾难的关键协同作用,其中深度学习的网络结构对数据分布的对称性要求最高。
Jul, 2022