本文介绍了一种新的具有平移等变性的神经过程(TNPs)家族,通过对合成和真实世界的时空数据进行广泛的实验,相对于非平移等变性对照组和其他 NP 基线,我们证明了 TE-TNPs 的有效性。
Jun, 2024
这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法,而非人为设计具有相应等变性质的架构,其通过学习相应的参数共享模式来实现对等变性的学习及编码,并且结果显示其成功替代了传统手动构建深度学习架构的方法。
Jul, 2020
对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而,在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制:它们无法针对单个数据样本进行对称性打破。为此,我们引入了一种新的 “放松等变性” 的概念来规避这一限制。我们进一步展示了如何将这种放松应用于等变多层感知机(E-MLPs),从而提供了一种与注入噪声方法相对的选择。随后,讨论了对称性打破在物理学、图表示学习、组合优化和等变解码等各个应用领域的相关性。
Dec, 2023
通过对对称性的任务特定归纳偏差的明确合并,机器学习模型的高性能设计准则已经出现。
May, 2023
我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性,并探讨了对网络性能的影响。我们发现,即使输入维度只有一个像素的微小变化,常用的架构也会变得近似等变,而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时,近似等变网络能够放松其等变性约束,并在常见的基准数据集上与或胜过完全等变网络。
Aug, 2023
本文提出了一种具有置换不变性和数据空间变换等变性的元学习方法 EQuivCNP,其建立在数据集的置换不变性与常规条件神经过程(CNPs)相同,且具有转换等变性;结合群等变性提供了考虑现实世界中的数据对称性的方式,并使用李群卷积层构建体系结构进行实际实现,EquivCNP 在具有等变性的情况下能够实现零样本泛化。
Feb, 2021
本文探讨了在物理学和机器学习领域中,研究对称群等变机器学习结构所带来的深度投资和收益,并讨论了应用这些方法的潜在益处和限制以及对不同物理应用的各种评估指标。
Mar, 2022
通过研究发现,即使强制施加不完全匹配于领域对称性的 equivariance 约束,也能显著提高机器学习环境中对真实对称性的学习效率和性能。在强制施加 extrinsic symmetry 的情况下,在具有潜在对称性的领域中,equivariant model 的表现优于 non-equivariant 方法。
Nov, 2022
通过使用一种小型等变网络将概率分布参数化为对称化并对基模型进行端到端训练,本研究提出了一种新的框架来克服等变体系结构在学习具有群对称性的函数方面的局限性。
Jun, 2023
本研究提出了一种新的共同关注等变神经网络,它不仅能够保留输入的结构信息,而且能够注意到数据中同时出现的变换,并将其泛化到由多个对称组成的群上,实现更好的目标识别效果。
Nov, 2019