神经预测与对齐的谱理论
本文研究了神经网络所谓的收敛学习现象,使用多种技术对神经网络进行了实验,发现了一些神经网络的未知属性,包括神经网络中某些特征通常会被成功学习,而其他特征则没有被可靠地学习,单元学习低维子空间,而这些子空间是多个网络共有的,但学习的基向量不一致,表示代码表现出局部代码和略微分布式代码的混合特征。
Nov, 2015
提出了一种名为误差驱动局部表示对齐 (LRA-E) 的学习算法,它与预测编码有强烈的联系,可以在训练深度非线性网络时得到更稳定的性能和更强的泛化能力,并且通过与其他生物启发算法的比较,表现最佳。
May, 2018
本研究通过理论和算法对同一结构但训练自不同初始化的两个深度神经网络学习出的神经元激活子空间匹配进行研究,提出了最大匹配和简单匹配的核心概念,并发现了在子空间匹配方面,从不同初始化训练的网络中学习出的卷积层表示并不像普遍预期的那样相似。
Oct, 2018
为了理解生物和人工神经网络的操作,研究者们需要一个标准化的工具集来量化其结构等因素对神经表征的影响,这篇论文提出了一族量化表征不同神经网络之间相似性的度量空间,利用这个框架使得神经网络表征可以整合进任意的机器学习方法中,然后利用大规模生物和深度学习数据集来验证这些方法,最终找出了神经表征之间与结构和性能之间的关系。
Oct, 2021
通过揭示损失面曲率的角度,论文研究神经网络的梯度下降算法对生物可行性的影响,发现生物可行性的学习规则在通用性上具有更差且更不稳定的性能,其倾向于接近神经突触权重空间的高曲率区域。
Jun, 2022
通过推广之前提出的形状度量方法,我们定量地比较了神经表示中的随机性差异,并发现神经生物学表示的随机几何形状分别类似于未经过训练和经过训练的深度网络表示。
Nov, 2022
本研究提出了一种基于统计学习的无监督几何深度学习框架,利用局部相空间特征的统计分布来表示非线性动态系统,该方法提供了鲁棒的几何感知或几何无关的表示,可用于测量轨迹的基础上进行无偏的动力学比较,并设计了一种具有最先进准确性的解码算法。
Apr, 2023
通过神经群体几何的角度研究神经网络的内部机制,利用统计物理学中的流形容量理论和高维统计学中的流形对齐分析,定量表征深度神经网络和猕猴神经记录中不同学习目标导致的组织策略差异,并展示这些几何分析与任务相关信息的解码能力之间的联系。这些分析为在神经网络中桥接机制和规范性理论提供了一个重要方向,可能在机器学习和神经科学中开辟了许多未来的研究途径。
Dec, 2023
人和动物可以认识到环境中的潜在结构,并将这些信息应用于有效地导航世界。本论文开发了一个分析理论,将神经群体活动的中等统计特性与多任务学习问题上的泛化性能相联系。利用这个理论,我们发现实验观察到的因素化(或解缠)表示自然地成为多任务学习问题的最优解,同时验证了来自生物和人工神经网络数据的理论预测。这些结果将神经群体几何学与多任务学习问题联系起来,并对这些场景中的群体活动结构进行正式预测。
Feb, 2024
通过权重、Jacobian和谱规范化评估性能和对抗性鲁棒性,研究了表示平滑性和谱之间的关联,为未来探究动物和人工系统中的幂律谱和最优平滑编码机制奠定基础,从而更好地理解实现哺乳动物大脑中鲁棒神经网络和开发更加稳定可靠的人工系统的机制。
Feb, 2024