Oct, 2023

神经电路中连通性结构对丰富与懒散学习的塑造

PDF
TL;DR通过理论和实证分析，我们研究发现，初始权重的结构对网络学习机制起着重要影响，具有高秩的初始权重表现出更懒惰的学习，低秩的初始权重倾向于更丰富的学习，同时我们还发现与任务和数据统计信息一致的低秩初始权重仍然可能导致懒散学习。这一研究突出了初始权重结构在塑性代谢成本和灾难性遗忘风险方面的关键作用。
发现论文，激发创造
  • 神经动态的低张量秩学习

    通过大规模神经记录，我们研究了学习过程中权重矩阵形成的 3-Tensor 的秩，并发现推断得到的权重具有较低的张量秩，并且通过数学结果证明了较低的张量秩权重在训练低维任务的 RNN 中自然地产生。

    Aug, 2023

  • 低秩学习设计：网络架构和激活线性在梯度秩崩溃中的作用

    我们在深度神经网络的学习动态方面的理解仍然不完整。最近的研究开始揭示了这些网络的数学原理，包括 “神经坍塌” 现象，在训练的后期，DNN 内的线性分类器会收敛到特定的几何结构。然而，几何约束在学习中的作用并不仅限于这个阶段。本文对 DNN 中的梯度秩进行了全面研究，研究了体系结构选择和数据结构对梯度秩界限的影响。我们的研究不仅有助于理解 DNN 中的学习动态，而且为深度学习工程师提供了实践指导，以便做出明智的设计决策。

    Feb, 2024

  • 从拓扑学角度学习神经网络的连接性

    本文提出了一种基于拓扑结构优化神经网络连接性的方法，通过为边分配可学习参数并施加稀疏约束，更聚焦有关键作用的连接，并获得在图像分类和目标检测等任务中的显著改善。

    Aug, 2020

  • 快速致富：精确解揭示不平衡初始化是如何促进快速特征学习的

    该研究揭示了神经网络中特征学习的机制及其对学习速度、初始值的敏感性，并提供了使用不平衡初始化来增强高效特征学习的理论依据。

    Jun, 2024

  • 关于深度神经网络中稳定秩的影响

    本研究探讨了深度神经网络模型稳定秩的空间，分析了前向动力学、初始化、训练和表达性等方面，并通过实证分析表明，仅稳定秩初始化即可加速收敛速度。

    Oct, 2021

  • 低秩权重对神经网络对抗鲁棒性的影响

    研究的问题是通过压缩来探究神经元网络的鲁棒性并揭示其中的关键特性，其中低秩结构通过核范数正则化促进并结合稀疏性使神经网络显示出显著的鲁棒性。

    Jan, 2019

  • 懒人（NTK）和富人（μP）的领域：温和教程

    现代机器学习范式的核心主题是更大的神经网络在各种度量指标上具有更好的性能。本文对这些过参数化模型的理论分析最近集中在研究非常宽的神经网络。我们通过一个非严格但富有说明性的推导，解释了以下事实：为了有效地训练宽网络，在选择学习率和初始权重大小等超参数上只有一个自由度。这个自由度控制训练行为的丰富性：宽网络至少以类似核机器的方式进行懒惰训练，最多则在所谓的 μP 区域表现出特征学习。本文解释了这种丰富性尺度，将最近的研究结果综合为一个连贯的整体，并提供支持我们的论点的实证证据。通过这样做，我们希望进一步研究丰富性尺度，因为它可能是发展实际深度神经网络特征学习的科学理论的关键。

    Apr, 2024

  • 学习神经网络的不合理有效性：从易于访问的状态和稳健集合到基本算法方案

    研究了具有离散权重的人工神经网络中学习过程的优化，提出了一种被称为 “鲁棒集合” 的新量度来抑制被隔离的配置所困住，并分析了稀有但极度密集和可访问的网络配置区域的存在。为解决此问题，提出了一个算法方案来定义目标，并证明了该算法在从驱动分配的稠密状态中提取信息时的有效性。

    May, 2016

  • 卷积神经网络的结构权重先验

    该论文探讨了在深度神经网络中为权重添加结构的好处，其中使用了随机 Gabor 过滤器设计第一层卷积神经网络的先验，以及估计每个隐藏特征与每个类之间关系的方式来为最终层权重添加先验。经验证明，这些结构化的权重先验可以为图像数据提供更有意义的功能先验。

    Jul, 2020

  • 随机加权网络的有趣属性：在几乎没有学习的同时进行泛化

    该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

    Feb, 2018