本文研究了二进制和连续的负边缘感知器作为学习随机规则和关联的简单非凸神经网络模型，并探讨了两种模型解决方案的几何学特征。结果发现，即使在高度非约束的情况下，存在大量的极宽、极平的最小值，这有助于提高学习器的泛化性能。
Apr, 2023
研究了负球面感知器模型中的能量壁垒、简单连接性质和优化动力学，并通过计算和数值模拟表征了解决方案空间的组织结构和转换过程。
May, 2023
通过分析权重空间结构得到 Franz-Parisi 势能解决二元感知器问题，发现权重空间由孤立解构成，而不是非常接近的集群，这些点状集群在权重空间中相距很远，解释了以前观察到的随机局部搜索启发式算法的玻璃态行为。
Aug, 2014
研究神经网络中的多重流形问题，证明当网络深度相对于数据的几何和统计属性较大时，其宽度作为统计资源，使随机初始化网络的梯度集中，而其深度作为拟合资源，更易于分离类流形，基于神经切向核及其在训练超参数化神经网络方面的作用，我们为深度全连接网络的神经切向核提供了完全优化的集中速率。
Aug, 2020
我们通过统计物理学中的复制法，分析具有通用激活函数的全连接双层神经网络的解空间结构和存储容量，并发现存储容量与参数的关系是有限的，在无限宽度的条件下，网络的权重表现出负相关性，并且随着数据集大小的增加，存在一个特定的转变点触发相变，权重的置换对称性被破坏，解空间分裂成不相交的区域。我们进一步确定了这一转变点和存储容量与激活函数的选择之间的依赖关系，这些发现有助于理解激活函数和参数数量对解空间结构的影响，可能为根据特定目标选择合适的架构提供了洞见。
Apr, 2024
神经科学，人工神经网络，统计力学，Hopfield 网络和 Boltzmann 机器是人工神经网络领域的主要研究课题。通过研究人工神经网络中的丢失函数的几何特征和可视化方法，可以提高其优化行为、泛化能力和整体性能。
本文提出了一个名为 “隐藏流形模型” 的生成模型，证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过 Integro-differential 方程组进行跟踪，同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受其大小、学习率和隐藏流形维度等参数的影响。
Sep, 2019
通过神经群体几何的角度研究神经网络的内部机制，利用统计物理学中的流形容量理论和高维统计学中的流形对齐分析，定量表征深度神经网络和猕猴神经记录中不同学习目标导致的组织策略差异，并展示这些几何分析与任务相关信息的解码能力之间的联系。这些分析为在神经网络中桥接机制和规范性理论提供了一个重要方向，可能在机器学习和神经科学中开辟了许多未来的研究途径。
Dec, 2023
通过对流形假设的研究，我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联；流形的有限曲率限制了学习问题的可解性，而数据流形的体积增加则会提高网络的可学习性。此外，我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。
Jun, 2024
这篇论文介绍了在统计物理学、计算机科学和神经生物学交叉领域中涌现的模型统计方法，如关联复制和空腔方法，信息传递的概念和其在神经计算和学习中的应用，以期提供更好的理论和技术支持解决神经网络中的复杂计算问题。
Jan, 2013