神经网络中的随机加权神经调制有助于跨任务共同学习
通过神经群体几何的角度研究神经网络的内部机制,利用统计物理学中的流形容量理论和高维统计学中的流形对齐分析,定量表征深度神经网络和猕猴神经记录中不同学习目标导致的组织策略差异,并展示这些几何分析与任务相关信息的解码能力之间的联系。这些分析为在神经网络中桥接机制和规范性理论提供了一个重要方向,可能在机器学习和神经科学中开辟了许多未来的研究途径。
Dec, 2023
本文提出了一个名为 “隐藏流形模型” 的生成模型,证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过 Integro-differential 方程组进行跟踪,同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受其大小、学习率和隐藏流形维度等参数的影响。
Sep, 2019
本文提出了一种基于流形学习的哈希方法,包括解决样本外数据问题的有效归纳解决方案和用非参数流形学习作为哈希方法基础的过程,以提高现有算法的规模,并展示了基于 t-SNE 的哈希方法在大规模基准数据集上的优越性和通过最小化量化误差以及加入标签信息等方法进一步提高语义检索性能的应用。
Dec, 2014
本文介绍了一种基于流形学习的紧凑二进制哈希算法,解决了流形学习在大规模嵌入中的问题,并提出了一个有效的方法来解决样本外数据问题,特别是基于 t-SNE 实现的哈希算法。
Mar, 2013
本论文提出一种通过神经隐式流来表示数据流形分布的方法,称为神经隐式流分布。为了解决基于前向模型的限制,引入了约束能量模型,该方法使用约束的 Langevin 动力学来训练和采样,能比前向模型更精确地学习复杂拓扑结构的流形支持分布,并允许将模型流形的并集和交集进行运算。
Jun, 2022
通过对流形假设的研究,我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联;流形的有限曲率限制了学习问题的可解性,而数据流形的体积增加则会提高网络的可学习性。此外,我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。
Jun, 2024
通过构建具有功能等效性的网络的路径连接集合,将神经网络的权重空间视为弯曲的黎曼流形并沿着功能不变路径将网络移动,同时寻找满足次要目标的网络,通过路径抽样算法,能够训练具有数百万权重参数的神经网络来学习一系列分类任务而不会损失性能,同时适应包括网络稀疏化,增量任务学习和增加对抗强度在内的次要目标。
Apr, 2022
本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化,并使用拓扑数据分析和持久性同调分形维数的概念,通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验,为可解释的和可解释的 AI 的发展做出了贡献。
Jun, 2023
通过使用不同的几何结构,如双曲空间、球面空间和综合空间,利用神经潜空间几何搜索方法(NLGS),能够显著提高机器学习模型的性能,并能够自动识别下游任务的最佳潜空间几何。
Sep, 2023