通过重新参数化实现元学习对称性

ICLRJul, 2020

通过重新参数化实现元学习对称性

Meta-Learning Symmetries by Reparameterization

Allan Zhou, Tom Knowles, Chelsea Finn

TL;DR这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法，而非人为设计具有相应等变性质的架构，其通过学习相应的参数共享模式来实现对等变性的学习及编码，并且结果显示其成功替代了传统手动构建深度学习架构的方法。

Abstract

Many successful deep learning architectures are equivariant to certain transformations in order to conserve parameters and improve generalization: most famously, convolution layers are equivariant to shifts of the input. This approach only works when practitioners know the symmetries o

deep learning equivariance parameter sharing automated architecture symmetry transformations

发现论文，激发创造

自动使用梯度学习层间等变性

卷积将等变对称性编码到神经网络中，从而提高泛化性能。为了允许灵活的对称约束，我们改进了软等变性的参数化，并通过优化边缘似然来学习层面的等变性。我们展示了在图像分类任务上自动学习层面等变性的能力，获得了与硬编码对称性基线相当或更好的性能。

Oct, 2023

学习概率对称化实现架构无关等变性

通过使用一种小型等变网络将概率分布参数化为对称化并对基模型进行端到端训练，本研究提出了一种新的框架来克服等变体系结构在学习具有群对称性的函数方面的局限性。

Jun, 2023

物理学的对称群等变架构

本文探讨了在物理学和机器学习领域中，研究对称群等变机器学习结构所带来的深度投资和收益，并讨论了应用这些方法的潜在益处和限制以及对不同物理应用的各种评估指标。

Mar, 2022

使用与滥用等变性

我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性，并探讨了对网络性能的影响。我们发现，即使输入维度只有一个像素的微小变化，常用的架构也会变得近似等变，而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时，近似等变网络能够放松其等变性约束，并在常见的基准数据集上与或胜过完全等变网络。

Aug, 2023

学习参数共享实现等变发现

研究了如何从数据中发现可解释性等变性，并将这个发现过程转化为一个基于深度网络的参数共享方案的优化问题。通过理论分析和实验证明了这种方法的有效性和可行性。

Apr, 2022

神经网络中的不变性学习

该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

Oct, 2020

利用卷积神经网络中的循环对称性

本文介绍了四种可以插入神经网络模型中的操作，并将它们组合起来使这些模型具有部分对称旋转性，并且使得神经网络可以在不同方向共享参数，从而达到更好的性能和模型尺寸。

Feb, 2016

逆问题的等变神经网络

本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

Feb, 2021

近似等变神经过程

通过使用已有的等变体系结构，我们在构建神经过程中使用近似等变性的方法，证明了该模型在合成和真实回归实验中的有效性。

Jun, 2024

用于学习神经网络等变表示的图神经网络

本文提出了一种将神经网络表示为参数计算图的方法，借助图神经网络和 transformers 来保持置换对称性，并展示了该方法在多个任务中的有效性。

Mar, 2024