学习等变张量函数及其在稀疏向量恢复中的应用

Jun, 2024

学习等变张量函数及其在稀疏向量恢复中的应用

Learning equivariant tensor functions with applications to sparse vector recovery

Wilson G. Gregory, Josué Tonelli-Cueto, Nicholas F. Marshall, Andrew S. Lee, Soledad Villar

TL;DR通过表征多元张量输入和张量输出的等变多项式函数，本文描述了不变函数。我们将注意力集中在关于正交群对张量的对角作用的等变函数上，并展示了如何将这种表征推广到包括洛伦兹群和辛群在内的其他线性代数群。我们的目标是定义等变机器学习模型，特别是关注稀疏向量估计问题。我们的实验结果表明，所提出的等变机器学习模型可以学习背景中表现优于已知的最佳理论方法的谱方法。实验还表明，学习到的谱方法可以在尚未进行理论分析的设置中解决该问题。这是理论可以告知机器学习模型并且机器学习模型可以告知理论的一个有前途的方向示例。

Abstract

This work characterizes equivariant polynomial functions from tuples of tensor inputs to tensor outputs. Loosely motivated by physics, we focus on equivariant functions with respect to the diagonal action of the orthogonal group on tensors. We show how to extend this characterization t

equivariant polynomial functions linear algebraic groups sparse vector estimation spectral methods equivariant machine learning models

发现论文，激发创造

使用 SL (2, R) 等变性学习多项式问题

通过神经网络可以优化和验证多项式，同时保持高准确性，速度提高十倍，且多项式学习问题与非紧致群 SL (2,R) 等效，为非紧致对称问题提供了理论和实践上有趣的启示。

Dec, 2023

标量通用性：等变机器学习，结构类似于经典物理

文章讨论了神经网络在物理规律中对称性的应用，提出了基于张量和标量方法的普适逼近算法。

Jun, 2021

等变模型的可证明的严格泛化优势

本研究通过研究线性模型，证明了当目标分布与紧致群相关时，使模型不变 / 等变能够改善泛化性能，并揭示了泛化，训练样本数量和群作用属性之间的有趣关系。

Feb, 2021

基于傅里叶变换的同变网络同构空间中的核与非线性设计

从 Fourier 角度出发，我们在同质空间上引入了一种统一的群等变网络框架，其中考虑了张量值特征场及其卷积层前后的特征，通过利用提升特征场的 Fourier 系数的稀疏性，通过 Fourier 域统一推导卷积核并实现非线性激活，该方法在 spherical vector field regression、point cloud classification 和 molecular completion 等任务中达到了最先进的性能水平。

Jun, 2022

基于分割代数的排列等变层快速计算

本文研究线性神经网络层，特别是在深度学习架构中核心的具有排列不变性或等变性的网络层；针对这一特性，作者对其进行了参数化以及基于对称群作用下的标准基元轨道的和来表示排列等变线性层；进一步，本文介绍了一种基于低秩张量分解计算的基元，该基元比轨道基元的计算代价更低，最后提出了一种算法来实现这些基元相乘。

Mar, 2023

通过轻量不变特征学习对称矩阵和点云上的函数

提出了用于机器学习对称矩阵上不变函数和对点云上不变函数的数学公式，并结合 DeepSets 在不同尺寸的对称矩阵和点云上学习函数的可行性。

May, 2024

构建任意矩阵群等变多层感知器的实用方法

提供求解矩阵群等变层的通用算法，在多个未曾解决的群中构建具有多个群等变性的多层感知器，优于非等变基线模型，在粒子物理和动力系统中应用。

Apr, 2021

矩阵的灵活多层稀疏逼近及其应用

该论文介绍了一种算法，旨在通过将相应矩阵近似因式分解为少量稀疏因子，降低应用高维线性算子的复杂度，该方法依赖于近期非凸优化的进展，首先进行详细的解释和分析，然后在字典学习图像去噪和逆问题中展示实验效果。

Jun, 2015

通过李代数卷积实现准等变性

在机器学习领域，最近，模型对于群作用的等变性已经成为重要的研究主题。本研究通过利用 Lie 群的 Lie 代数，提出了一种新颖的几乎等变性定义，并给出了一种将几乎等变性编码到模型中的实用方法。进一步，该研究还证明了等变性与等距性的关联以及几乎等变性与几乎等距性的关联，并在一定约束条件下，证明了几乎等变性流形嵌入函数与完全等变性嵌入函数之间的存在性。最后，通过在完全等变性和几乎等变性设置下的数据集上进行基准测试，证明了该方法的有效性。

Oct, 2023

等变模型的普适性与对称性的可学习性之间的权衡

使用等变函数作为认知模型的假设条件下，学习具有对称性和等变性的函数是不可能的；我们探究了群和半群的逼近概念，分析了线性等变网络和群卷积网络是否满足该结果，并阐述了它们的理论和实际意义。

Oct, 2022