尺度等变图元网络

Jun, 2024

Scale Equivariant Graph Metanetworks

Ioannis Kalogeropoulos, Giorgos Bouritsas, Yannis Panagakis

TL;DR该论文介绍了一种新兴的机器学习范式：学习高阶函数，特别是当这些函数的输入是神经网络时，尤其关注于与神经网络参数化中的排列对称性不同的扩展对称性，即缩放对称性。研究者提出了一种名为 ScaleGMNs 的框架，通过整合缩放对称性来使神经元和边的表示对于有效的缩放是等变的，并证明了它可以模拟任何输入前馈神经网络的前向和反向传递过程。实验结果表明，该方法在几个数据集和激活函数的性能上取得了领先的状态，突显了缩放对称性作为神经网络处理的一个归纳偏好的能力。

Abstract

This paper pertains to an emerging machine learning paradigm: learning higher-order functions, i.e. functions whose inputs are functions themselves, $\textit{particularly when these inputs are →

machine learning higher-order functions neural networks scaling symmetries graph metanetworks

发现论文，激发创造

处理多样化神经结构的图元网络

通过构建图形元网络，将权重从其他神经网络作为输入，我们的 Graph Metanetworks (GMNs) 方法解决了处理对称性和参数空间几何的困难，有效地推广到多种神经网络架构，并验证了其有效性。

Dec, 2023

近似等变图网络

图神经网络 (GNNs) 和欧几里德卷积神经网络 (CNNs) 的等变性对称性不同，本篇论文侧重于探讨 GNNs 的主动对称性，通过对信号在固定图上的支持进行学习，将近似对称性形式化为图粗化，提出了一个偏差 - 方差公式来量化损失表达性与学习估计的规则性之间的权衡，实验证明，选择比图自同构群大但小于全排列群的适当大的群可以达到最佳泛化性能。

Aug, 2023

带约束条件的等变图机械网络

机器学习中，关于多个交互对象的关系和动态推理是一个具有挑战性的话题，我们提出了一种基于广义坐标的 Graph Mechanics Network (GMN) 方法，来隐式地表达在受限制系统中的几何约束，并在模拟系统和现实世界中进行的广泛实验证明了 GMN 相对于最先进的 GNN 在预测精度、约束满足性以及数据效率方面的优势。

Mar, 2022

相似性等变图神经网络用于仿生材料的均质化

通过使用图神经网络作为替代模型，我们开发了一种基于机器学习的方法来准确快速地模拟软、多孔的机械变形材料以调节其机械性能，并通过预测全局物理量和模式变换来处理不同的微观结构。

Apr, 2024

E (n) 等变图神经网络

本文介绍了一种新的模型来学习具有等变性的图神经网络，称为 EGNN，此方法不需要在中间层中计算昂贵的高阶表示，同时具有竞争力或更好的性能，在 3 维空间等变性上具有比现有方法更大的伸缩性，并在动态系统建模，图自编码器中的表征学习和预测分子性质方面证明了其有效性。

Feb, 2021

非线性谱滤波下的图上等变机器学习

图谱域的非线性光谱滤波器 (NLSFs) 通过在图形的信号空间中操作来保证图功能性的转移，具有普适逼近性质，并且在节点和图分类基准测试中表现出优越性能。

Jun, 2024

等变矩阵函数神经网络

矩阵函数神经网络是一种新颖的架构，通过分析的矩阵等变函数参数化非局部交互。在标准图形基准测试中，MFN 架构实现了最先进的性能，并能够捕捉量子系统中复杂的非局部交互，为新的最先进力场铺平了道路。

Oct, 2023

置换等变神经函数

本篇论文研究了用于处理其他神经网络的权重或梯度的神经网络的设计，即神经功能网络（NFN），并通过对称性的引入提出了一个构建置换等变的神经谷波器的框架，其架构将这些对称性编码为归纳偏置，并发现该框架在处理加权多层和卷积神经网络等多个任务方面表现出很好的效果，如分类器推广和权重编辑等

Feb, 2023

通过迭代同质图神经网络实现规模不变的图相关问题求解

通过引入适应计算进程的学习终止机制和具有通用同态函数逼近器的同态转换层，从构造图论程序的角度出发，针对当前图神经网络在解决多个图分析问题时规模（图大小、图直径、边权重等）的泛化性不足问题提出了几种扩展方法，实验结果表明该方法在小规模图上训练，但是对于大规模图也具有很好的泛化性。

Oct, 2020

关于对称性下的学习难度

通过梯度下降，我们研究了学习等变神经网络的问题。尽管已知的问题对称（“等变性”）被纳入神经网络中，经验上改善了从生物学到计算机视觉等领域的学习流程的性能，但是一项有关学习理论的研究表明，在相关统计查询模型（CSQ）中，实际学习浅层全连接（即非对称）网络的复杂度呈指数级增长。在这项工作中，我们提出了一个问题：已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难？我们的答案是否定的。特别地，我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界，这些下界在相关输入维度中都以超多项式或指数级增长。因此，尽管通过对称性注入了显著的归纳偏差，但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。

Jan, 2024