Jan, 2024

任务结构和非线性性共同决定了学习到的表征几何

PDF
TL;DR通过研究具有一个隐藏层的网络的学习动态，我们发现网络的激活函数对于表示几何的影响强于预期：Tanh 网络倾向于学习反映目标输出结构的表示，而 ReLU 网络保留了更多关于原始输入结构的信息。这种差异在广泛的参数化任务中一直存在，我们在这些任务中调节任务输入的几何与任务标签的对齐程度。我们通过分析权重空间中的学习动态，说明了 Tanh 和 ReLU 非线性网络之间的差异是由于 ReLU 的非对称渐近行为导致的，这导致特征神经元专门针对输入空间的不同区域。相比之下，Tanh 网络中的特征神经元倾向于继承任务标签结构。因此，当目标输出是低维时，Tanh 网络生成的神经表示比采用 ReLU 非线性的表示更具解耦性。我们的发现揭示了神经网络中输入输出几何、非线性和学习表示之间的相互作用。
neural representationgeometryactivation functionrelu networkstanh networks
发现论文，激发创造
  • 基于双层 ReLU 神经网络的可证明多任务表示学习

    通过简单的梯度下降学习算法，在二层 ReLU 神经网络中进行多任务学习，可证明在多任务学习中也发生了特征学习。

    Jul, 2023

  • 当表示对齐时：在表示学习动态中的普适性

    在复杂的大规模架构中，深度神经网络的表征学习动态可以用编解码映射为任意平滑函数的有效理论来描述，该理论能够概括多种不同激活函数和架构的深度网络的表征学习动态，并展现类似于 “丰富” 和 “懒惰” 区域的现象。

    Feb, 2024

  • 深度神经网络的热带几何

    该研究建立了前馈神经网络与 tropical 空间之间的联系，通过这个联系，我们证明了具有一个隐藏层的前馈神经网络可以通过 zonotopes 来特征化，并且与 tropical hypersurfaces 相关联。

    May, 2018

  • 由随机神经网络生成的函数的非线性点

    探讨了一种带 1 个隐藏激活层、任意宽度和 ReLU 激活函数的神经网络，研究了神经网络的偏差，解释了为何神经网络可能更偏好具有更简单的几何形状和为何某些低信息熵函数对于神经网络来说仍然难以近似。

    Apr, 2023

  • 多元神经网络学习真实目标函数

    通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。

    Nov, 2016

  • 回归即分类：任务形式对神经网络特征的影响

    研究神经网络对回归问题的解决方法，针对两层 ReLU 网络探索了梯度优化引起偏差的一些现象，提出了一种新的支持度计算方法，得出实验证据，阐述了广义梯度下降和平方损失函数在训练中的优化困难。

    Nov, 2022

  • 学习激活函数的组合

    本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

    Jan, 2018

  • 理解 ReLU 网络的多阶段优化动态和丰富非线性行为

    本研究通过对 ReLU 神经网络的训练过程进行理论性分析，揭示了从随机初始化到最终收敛的整个优化过程，并发现了四个不同阶段，显示了一个从简单到复杂的总体趋势，此外还可以精确地识别和捕捉特定的非线性行为，如初始凝结、鞍点到高原动态、平台逃逸、激活模式的变化、学习随着复杂度的增加等现象。

    May, 2023

  • 神经网络之间的共享表示几何

    本文研究了神经网络架构在相同数据集上的不同训练结果之间的相关性，并使用共享响应模型证明了不同的神经网络以不同的正交变换方式编码数据的同一基础共享表示，通过 CNNs 在 CIFAR10 和 CIFAR100 上进行了实验。

    Nov, 2018

  • 探索神经网络线性特征解缠

    本文探讨了神经网络中的线性特征分离问题，提出了一种可学习的遮罩模块来区分线性和非线性特征，证实一部分特征可以提前进入线性可分离空间并与模型分离，从而提出了一种可行的模型剪枝策略，并在四个数据集上获得了良好的实验结果。

    Mar, 2022