深度网络中对称性的理解
本文提出了两种基于对称不变梯度的权重更新方式,使用这些方式进行学习可以提高测试性能而不损失权重更新的计算效率。在MNIST数据集上,我们的实验证据表明这些更新有效,并且我们还展示了在图像分割问题上采用这些权重更新方法的训练结果。
Nov, 2015
这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法,而非人为设计具有相应等变性质的架构,其通过学习相应的参数共享模式来实现对等变性的学习及编码,并且结果显示其成功替代了传统手动构建深度学习架构的方法。
Jul, 2020
通过内在对称性的理论框架,使用有限差分法实现了在实践中使用的有限学习率的精确积分表达式来描述在任何数据集上通过深度学习训练出的当代网络体系结构的各种参数组合的学习动力学。
Dec, 2020
本文通过对深度学习的数据(D)、模型(M)和推理算法(I)进行联合分析,提出了解决高维数据下维数灾难的关键协同作用,其中深度学习的网络结构对数据分布的对称性要求最高。
Jul, 2022
卷积将等变对称性编码到神经网络中,从而提高泛化性能。为了允许灵活的对称约束,我们改进了软等变性的参数化,并通过优化边缘似然来学习层面的等变性。我们展示了在图像分类任务上自动学习层面等变性的能力,获得了与硬编码对称性基线相当或更好的性能。
Oct, 2023
通过学习解决权重对齐问题的新框架Deep-Align,该研究提出了深度网络的排列对称性和权重排列两个基本对称性,并在多个网络架构和学习设置上进行了实验,结果显示Deep-Align能够产生与当前优化算法相比更好或相等的对齐,并可用作其他方法的初始化,以实现更好的解决方案和显著加速收敛速度。
Oct, 2023
本研究解决了传统欧几里得深度学习无法有效处理复杂拓扑特征空间的问题,提出了基于对称群等变深度学习模型的新方法。这些模型在图形、三维形状和非欧几里得空间上实现了类似卷积的操作,揭示了其输入空间和表示之间的内在对称性,具有重要的理论和实践意义。
Sep, 2024
本研究解决了深度神经网络(DNN)的训练中存在的对称性问题,提出将其作为等效的凸Lasso问题。研究表明,深层网络在拟合函数中自然偏向对称结构,且更大的深度可以实现多层次的对称性。这一发现对于理解深度网络的几何结构及其优化具有重要意义。
Oct, 2024