CVPRMay, 2024

提升模型通用等变性的规范化

PDF
TL;DR通过引入新方法实现了深度学习中与架构无关的等变性，比传统的等变架构方法和现有的与架构无关的方法更高效。该方法利用对比学习以及非等变网络来实现典范化，提供了更多对典范化网络选择的灵活性，并且在预训练模型的等变性以及典范化过程的加速方面实现了显著优势，速度提高了 2 倍。
equivariancedeep learningarchitecture-agnosticcanonicalizationcontrastive learning
发现论文，激发创造
  • 大型预训练模型的等变适应

    通过使用规范化网络和数据相关的先验知识，可以使大型预训练模型实现等变性，提高计算效率并增强对数据旋转等确定性变换的鲁棒性。

    Oct, 2023

  • 学习标准化函数的等变性

    本文提出了基于对称性神经网络的一种替代方案，通过学习生成数据的规范表示来避免架构约束。并为多个感兴趣的组提供了实现它们的明确方法，证明了学习神经网络来执行规范化比使用预定义启发式方法更好，并且该方法在实践中实现了出色的性能表现。

    Nov, 2022

  • 对不变性学习和等变性学习的正式观点

    利用框架取代方法来实现神经网络的对称性，引入了规范化角度，设计了对特征向量更优且理论上和实践中都更优的新框架，揭示了现有方法之间的等价性。

    May, 2024

  • 近似等变神经过程

    通过使用已有的等变体系结构，我们在构建神经过程中使用近似等变性的方法，证明了该模型在合成和真实回归实验中的有效性。

    Jun, 2024

  • 深度图像识别模型中影响学习等变性的因素是什么？

    神经网络的等变性有助于提高数据效率，参数效率和对域外透视偏移的鲁棒性，数据增强，模型容量的减少以及卷积导致神经网络学习更高的等变性。

    Apr, 2023

  • 基于等变性的图网络数据效率

    通过引入一种新颖的图网络架构，它对于保持相邻节点距离的所有坐标嵌入的任何变换都具有等变性，特别是在 $n$- 维中具有欧几里得和共形正交群等变性，从而使得所提出的模型相对于传统图形架构更加数据高效，并且本质上配备了更好的归纳偏差。我们表明，通过少量数据的学习，我们提出的架构可以完全推广到合成问题中的未见数据，而标准模型需要更多的训练数据才能达到可比较的性能。

    Jun, 2021

  • 高效的模型不可知多组等变网络

    提供了对构建特定于模型的群不变网络的有效设计，包括 IS 层，用于满足对称不变性约束，并给出了两个相关问题的解决方案，并通过实验证明其具有竞争力。

    Oct, 2023

  • 共同关注等变神经网络：将等变性集中于数据中共存的变换

    本研究提出了一种新的共同关注等变神经网络，它不仅能够保留输入的结构信息，而且能够注意到数据中同时出现的变换，并将其泛化到由多个对称组成的群上，实现更好的目标识别效果。

    Nov, 2019

  • 通过重新参数化实现元学习对称性

    这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法，而非人为设计具有相应等变性质的架构，其通过学习相应的参数共享模式来实现对等变性的学习及编码，并且结果显示其成功替代了传统手动构建深度学习架构的方法。

    Jul, 2020

  • 学习概率对称化实现架构无关等变性

    通过使用一种小型等变网络将概率分布参数化为对称化并对基模型进行端到端训练，本研究提出了一种新的框架来克服等变体系结构在学习具有群对称性的函数方面的局限性。

    Jun, 2023