MMDec, 2023

对称破缺与等变神经网络

PDF
TL;DR对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而，在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制：它们无法针对单个数据样本进行对称性打破。为此，我们引入了一种新的 “放松等变性” 的概念来规避这一限制。我们进一步展示了如何将这种放松应用于等变多层感知机（E-MLPs），从而提供了一种与注入噪声方法相对的选择。随后，讨论了对称性打破在物理学、图表示学习、组合优化和等变解码等各个应用领域的相关性。
发现论文，激发创造
  • 使用与滥用等变性

    我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性，并探讨了对网络性能的影响。我们发现，即使输入维度只有一个像素的微小变化，常用的架构也会变得近似等变，而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时，近似等变网络能够放松其等变性约束，并在常见的基准数据集上与或胜过完全等变网络。

    Aug, 2023

  • 概率对称和不变神经网络

    本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

    Jan, 2019

  • 等变对称性破缺集

    我们提出了一种全等变性的新颖对称性破缺框架，通过将一组对称性破缺对象输入网络来实现，最小化这些集合的大小等效于数据效率。我们证明了最小化这些集合相当于一个被广泛研究的群论问题，并提供了对点群问题的解决方案，通过一些破对称性的示例来展示我们的方法在实践中的工作原理。

    Feb, 2024

  • 在具有潜在对称性的领域中，等变模型的惊人有效性

    通过研究发现，即使强制施加不完全匹配于领域对称性的 equivariance 约束，也能显著提高机器学习环境中对真实对称性的学习效率和性能。在强制施加 extrinsic symmetry 的情况下，在具有潜在对称性的领域中，equivariant model 的表现优于 non-equivariant 方法。

    Nov, 2022

  • 关于对称性下的学习难度

    通过梯度下降，我们研究了学习等变神经网络的问题。尽管已知的问题对称（“等变性”）被纳入神经网络中，经验上改善了从生物学到计算机视觉等领域的学习流程的性能，但是一项有关学习理论的研究表明，在相关统计查询模型（CSQ）中，实际学习浅层全连接（即非对称）网络的复杂度呈指数级增长。在这项工作中，我们提出了一个问题：已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难？我们的答案是否定的。特别地，我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界，这些下界在相关输入维度中都以超多项式或指数级增长。因此，尽管通过对称性注入了显著的归纳偏差，但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。

    Jan, 2024

  • 存在噪声下的几何量子机器学习中的对称性破缺

    基于等变量量子神经网络（EQNN）的几何量子机器学习是量子机器学习中的一个有前景的方向，本文研究了 EQNN 模型在噪声存在下的行为，通过数值模拟和高达 64 比特的硬件实验支持实验的结果，并提出了在噪声存在时增强 EQNN 模型对称性保护的策略。

    Jan, 2024

  • 探究机器学习中破坏对称性的影响

    对于建模原子尺度物质性质的模型，以对称性作为归纳偏差普遍被采用。然而，非对称模型也能从数据中学习对称性，并对模型准确性有益。本研究测试了一个仅近似满足旋转不变性的模型在模拟气相、液态和固态水的实际场景中的性能，发现其在插值、大体积情况下几乎无影响。即使在外推气相预测中，该模型仍然非常稳定，尽管有对称性伪迹存在。我们还讨论了系统减小对称性破缺程度的策略，并评估其对观测量收敛性的影响。

    Jun, 2024

  • 近似等变神经过程

    通过使用已有的等变体系结构，我们在构建神经过程中使用近似等变性的方法，证明了该模型在合成和真实回归实验中的有效性。

    Jun, 2024

  • 打破对称性：解决等变神经网络中的对称歧义

    本文研究了等变网络在处理对称任务时的歧义性，并提出了解决方法：通过添加组件解决对称歧义问题并使其在处理平面对称性输入时具有旋转等变性，提出了一种称为 OAVNN 的向量神经元网络，通过左右分割任务对其进行了评估，发现网络能快速准确地完成分割任务，并希望这项工作能够推动对等变网络在对称对象上表达能力的研究。

    Oct, 2022

  • （近似）群等变性下的逼近 - 泛化平衡

    通过对对称性的任务特定归纳偏差的明确合并，机器学习模型的高性能设计准则已经出现。

    May, 2023