Nov, 2015

深度网络中对称性的理解

HTML
PDF
TL;DR本研究针对深度网络权重空间中的对称性问题，探讨了使用基于单位范数的约束来改善权重空间对称性问题的方法，并通过 MNIST 数据集上的实验证明该方法优于批量归一化方法且不会影响权重更新的计算性能。
发现论文，激发创造
  • 深度网络中的对称不变优化

    本文提出了两种基于对称不变梯度的权重更新方式，使用这些方式进行学习可以提高测试性能而不损失权重更新的计算效率。在MNIST数据集上，我们的实验证据表明这些更新有效，并且我们还展示了在图像分割问题上采用这些权重更新方法的训练结果。

    Nov, 2015

  • 通过重新参数化实现元学习对称性

    这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法，而非人为设计具有相应等变性质的架构，其通过学习相应的参数共享模式来实现对等变性的学习及编码，并且结果显示其成功替代了传统手动构建深度学习架构的方法。

    Jul, 2020

  • 神经力学：深度学习动态中的对称性和破缺守恒定律

    通过内在对称性的理论框架，使用有限差分法实现了在实践中使用的有限学习率的精确积分表达式来描述在任何数据集上通过深度学习训练出的当代网络体系结构的各种参数组合的学习动力学。

    Dec, 2020

  • 深度学习中的协同和对称性：数据、模型和推理算法之间的相互作用

    本文通过对深度学习的数据（D）、模型（M）和推理算法（I）进行联合分析，提出了解决高维数据下维数灾难的关键协同作用，其中深度学习的网络结构对数据分布的对称性要求最高。

    Jul, 2022

  • 对称性，平坦极小值，以及梯度流守恒量

    通过使用激活函数的同变性并将其推广到非线性神经网络，找到了一些全局最小值的低误差谷，该方法可以提高鲁棒性，并提供了有关初始化影响的见解。

    Oct, 2022

  • 自动使用梯度学习层间等变性

    卷积将等变对称性编码到神经网络中，从而提高泛化性能。为了允许灵活的对称约束，我们改进了软等变性的参数化，并通过优化边缘似然来学习层面的等变性。我们展示了在图像分类任务上自动学习层面等变性的能力，获得了与硬编码对称性基线相当或更好的性能。

    Oct, 2023

  • 等变深度权重空间对齐

    通过学习解决权重对齐问题的新框架Deep-Align，该研究提出了深度网络的排列对称性和权重排列两个基本对称性，并在多个网络架构和学习设置上进行了实验，结果显示Deep-Align能够产生与当前优化算法相比更好或相等的对齐，并可用作其他方法的初始化，以实现更好的解决方案和显著加速收敛速度。

    Oct, 2023

  • 机器学习中实施、发现和促进对称性的统一框架

    提供了将对称性引入机器学习模型的一种统一的理论和方法框架，包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。

    Nov, 2023

  • 当前对称群等变卷积框架在表征学习中的应用

    本研究解决了传统欧几里得深度学习无法有效处理复杂拓扑特征空间的问题，提出了基于对称群等变深度学习模型的新方法。这些模型在图形、三维形状和非欧几里得空间上实现了类似卷积的操作，揭示了其输入空间和表示之间的内在对称性，具有重要的理论和实践意义。

    Sep, 2024

  • 黑箱与镜子：深度网络中的多层对称性、反射平面与凸优化

    本研究解决了深度神经网络（DNN）的训练中存在的对称性问题，提出将其作为等效的凸Lasso问题。研究表明，深层网络在拟合函数中自然偏向对称结构，且更大的深度可以实现多层次的对称性。这一发现对于理解深度网络的几何结构及其优化具有重要意义。

    Oct, 2024