Jun, 2023

学习概率对称化实现架构无关等变性

PDF
TL;DR通过使用一种小型等变网络将概率分布参数化为对称化并对基模型进行端到端训练，本研究提出了一种新的框架来克服等变体系结构在学习具有群对称性的函数方面的局限性。
equivariant architecturessymmetriesmlptransformersymmetrization
发现论文，激发创造
  • 通过重新参数化实现元学习对称性

    这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法，而非人为设计具有相应等变性质的架构，其通过学习相应的参数共享模式来实现对等变性的学习及编码，并且结果显示其成功替代了传统手动构建深度学习架构的方法。

    Jul, 2020

  • 物理学的对称群等变架构

    本文探讨了在物理学和机器学习领域中，研究对称群等变机器学习结构所带来的深度投资和收益，并讨论了应用这些方法的潜在益处和限制以及对不同物理应用的各种评估指标。

    Mar, 2022

  • 概率对称和不变神经网络

    本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

    Jan, 2019

  • 自动使用梯度学习层间等变性

    卷积将等变对称性编码到神经网络中，从而提高泛化性能。为了允许灵活的对称约束，我们改进了软等变性的参数化，并通过优化边缘似然来学习层面的等变性。我们展示了在图像分类任务上自动学习层面等变性的能力，获得了与硬编码对称性基线相当或更好的性能。

    Oct, 2023

  • 使用轨道距离最小化学习等变性的对称化方法

    我们提出了一个通用的框架，用于将任意神经网络架构进行对称化，并使其关于给定群体具有等变性。我们构建在 Kim 等人（2023）和 Kaba 等人（2023）的对称化建议的基础上，并通过用一个直观地测量群轨道之间距离的优化来取代将神经特征转换为群表示的方法来改进它们。这种改变使我们的方法适用于比这两个提议更广泛的矩阵群，如 Lorentz 群 O (1, 3)。我们在 SO (2) 图像分类任务上实验证明了我们方法的竞争力，同时也展示了在 O (1, 3) 任务上的更广泛性。我们的实现将在此 https URL 上提供访问。

    Nov, 2023

  • 等变模型的普适性与对称性的可学习性之间的权衡

    使用等变函数作为认知模型的假设条件下，学习具有对称性和等变性的函数是不可能的；我们探究了群和半群的逼近概念，分析了线性等变网络和群卷积网络是否满足该结果，并阐述了它们的理论和实际意义。

    Oct, 2022

  • （近似）群等变性下的逼近 - 泛化平衡

    通过对对称性的任务特定归纳偏差的明确合并，机器学习模型的高性能设计准则已经出现。

    May, 2023

  • 混合对称下的软等变正则化

    本文提出了一种基于正则化的方法，用于在具有混合近似对称性的数据集上构建模型，通过该方法可以依据每种对称性类型的等变正则化器训练模型，自动调整正则化器的强度，从而发现某些候选对称性类型的近似水平，同时在功能拟合和运动预测任务中展示了比以前的方法更高的精度。

    Jun, 2023

  • 近似等变神经过程

    通过使用已有的等变体系结构，我们在构建神经过程中使用近似等变性的方法，证明了该模型在合成和真实回归实验中的有效性。

    Jun, 2024

  • 构建任意矩阵群等变多层感知器的实用方法

    提供求解矩阵群等变层的通用算法，在多个未曾解决的群中构建具有多个群等变性的多层感知器，优于非等变基线模型，在粒子物理和动力系统中应用。

    Apr, 2021