一般感知流形的分类与几何学
该研究使用均场理论流形分析来分析来自大规模上下文嵌入模型的语言表示,发现在不同的模型家族中出现了语言流形的证据,尤其是在多义词和包含许多单词的词性类别中,此外,发现这些流形中的线性可分性的出现是由流形半径、维度和流形间相关性的共同减少所驱动的。
Jun, 2020
通过神经群体几何的角度研究神经网络的内部机制,利用统计物理学中的流形容量理论和高维统计学中的流形对齐分析,定量表征深度神经网络和猕猴神经记录中不同学习目标导致的组织策略差异,并展示这些几何分析与任务相关信息的解码能力之间的联系。这些分析为在神经网络中桥接机制和规范性理论提供了一个重要方向,可能在机器学习和神经科学中开辟了许多未来的研究途径。
Dec, 2023
通过对流形假设的研究,我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联;流形的有限曲率限制了学习问题的可解性,而数据流形的体积增加则会提高网络的可学习性。此外,我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。
Jun, 2024
该论文介绍了用于估计图像概率密度函数的方法,研究了生成模型在 AI 和计算机视觉领域的应用,探讨了用于防御对抗性攻击的可能性,并讨论了语义解释在描述图像上的应用。
Jul, 2023
本文通过一个简单的例子,警告我们在使用机器学习等技术进行测量时需要注意度量代表的物理现象与测量工具的度量值并不相同;本文提供的样例表明,在某些情况下这一问题可能导致我们对问题做出不正确的回答,从而提示我们在使用机器学习等技术进行测量时需要更加谨慎地进行数据处理。
Apr, 2023
提出了一种新的概率潜变量模型 (mGPLVM) 来同时确定潜变量状态和神经元对其表示的贡献,以研究神经元编码头部方向及其它相关行为表现内部潜变量构建的问题。
Jun, 2020
研究神经网络中的多重流形问题,证明当网络深度相对于数据的几何和统计属性较大时,其宽度作为统计资源,使随机初始化网络的梯度集中,而其深度作为拟合资源,更易于分离类流形,基于神经切向核及其在训练超参数化神经网络方面的作用,我们为深度全连接网络的神经切向核提供了完全优化的集中速率。
Aug, 2020
本研究提出了一种基于统计学习的无监督几何深度学习框架,利用局部相空间特征的统计分布来表示非线性动态系统,该方法提供了鲁棒的几何感知或几何无关的表示,可用于测量轨迹的基础上进行无偏的动力学比较,并设计了一种具有最先进准确性的解码算法。
Apr, 2023
本论文提出一种通过神经隐式流来表示数据流形分布的方法,称为神经隐式流分布。为了解决基于前向模型的限制,引入了约束能量模型,该方法使用约束的 Langevin 动力学来训练和采样,能比前向模型更精确地学习复杂拓扑结构的流形支持分布,并允许将模型流形的并集和交集进行运算。
Jun, 2022