通过层叠和知识转移进行流形学习
本文研究了基于Riemann流形的时间序列测量数据的统计循环网络模型,通过有效算法和严格分析统计性质,证明了其与现有方法相比表现相当并参数更少,同时在大脑成像的统计分析任务中得到了应用。
May, 2018
研究神经网络中的多重流形问题,证明当网络深度相对于数据的几何和统计属性较大时,其宽度作为统计资源,使随机初始化网络的梯度集中,而其深度作为拟合资源,更易于分离类流形,基于神经切向核及其在训练超参数化神经网络方面的作用,我们为深度全连接网络的神经切向核提供了完全优化的集中速率。
Aug, 2020
本文结合奇异黎曼几何对深度神经网络进行了研究,提出了构建输入点等价类的方法,它为新合成数据的生成提供了途径,并能提供分类器误判原因的洞察。
Dec, 2021
本文通过一个简单的例子,警告我们在使用机器学习等技术进行测量时需要注意度量代表的物理现象与测量工具的度量值并不相同;本文提供的样例表明,在某些情况下这一问题可能导致我们对问题做出不正确的回答,从而提示我们在使用机器学习等技术进行测量时需要更加谨慎地进行数据处理。
Apr, 2023
通过对优化传输具有二次正则化的对称版本的利用来构建稀疏且自适应的亲和矩阵的流形学习方法,从而检测数据嵌入的潜在流形是广泛一类下游分析的先决条件。我们证明了连续极限中产生的核函数与拉普拉斯类型算子一致,并在模拟中展示了对异方差噪声的鲁棒性,我们还确定了适用于离散数据的计算该优化传输的高效计算方案,并证明在一系列示例中它优于竞争方法。
Jul, 2023
Manifold learning is a set of methods to find the low dimensional structure of data, allowing visualization, de-noising, and interpretation, with a focus on statistical foundations and parameter choices.
Nov, 2023
神经网络在生活中起着至关重要的作用,最现代的生成模型能够取得令人印象深刻的结果。本文将几何框架应用于研究神经网络,探讨卷积、残差和递归神经网络,以及非可微激活函数的情况,并通过图像分类和热力学问题的数值实验来说明研究结果。
Apr, 2024
通过对流形假设的研究,我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联;流形的有限曲率限制了学习问题的可解性,而数据流形的体积增加则会提高网络的可学习性。此外,我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。
Jun, 2024
本文解决了在假设自然高维数据支持于低维流形上的统计复杂性问题。通过提供与ReLU网络的推广特性相关的理论结果,展示了在紧致流形上逼近有界Sobolev函数类所需的统计复杂性下界,这一界限仅依赖于流形的内在属性。这为已有的关于流形上ReLU网络的逼近结果提供了互补的界限。
Aug, 2024
本研究旨在通过卡坦移动框架来探讨数据流形的几何特征及其Riemannian结构,填补了在解释神经网络输出与输入几何之间关系的研究空白。采用该框架进行实验,揭示了神经网络响应及其输出类别的可达性,从而为可解释的人工智能工具的开发提供了新的数学依据和潜在影响。
Sep, 2024