数据缺乏科学应用的不变多尺度神经网络

Jun, 2024

数据缺乏科学应用的不变多尺度神经网络

Invariant multiscale neural networks for data-scarce scientific applications

I. Schurov, D. Alforov, M. Katsnelson, A. Bagrov, A. Itin

TL;DR机器学习在现代世界的成功主要取决于数据的丰富性。然而，在许多工业和科学问题中，数据量有限。通过具有对称性知识的等变神经网络，可以更有效地将机器学习方法应用于数据稀缺的科学问题，其中，我们建议结合具有对称性意识的不变体架构和扩张卷积堆栈是一种非常有效且易于实现的方法，可以在准确性方面较标准方法有可观的改进。我们将其应用于来自不同领域的具有代表性的物理问题：预测光子晶体的带隙和磁基态的网络逼近。建议的不变多尺度结构提高了网络的表达能力，在所有考虑的案例中表现更好。

Abstract

Success of machine learning (ML) in the modern world is largely determined by abundance of data. However at many industrial and scientific problems, amount of data is limited. Application of ML methods to data-scarce scientific problems can be made more effective via several routes, on

machine learning data-scarce scientific problems equivariant neural networks symmetry-aware invariant architectures dilated convolutions

发现论文，激发创造

概率对称和不变神经网络

本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

Jan, 2019

对称破缺与等变神经网络

对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而，在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制：它们无法针对单个数据样本进行对称性打破。为此，我们引入了一种新的 “放松等变性” 的概念来规避这一限制。我们进一步展示了如何将这种放松应用于等变多层感知机（E-MLPs），从而提供了一种与注入噪声方法相对的选择。随后，讨论了对称性打破在物理学、图表示学习、组合优化和等变解码等各个应用领域的相关性。

Dec, 2023

逆问题的等变神经网络

本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

Feb, 2021

面向有限资源的深度学习数据和计算高效设计

本文介绍了在医学领域中，利用等变神经网络所开发的移动设备，用于构建更准确、更健壮的模型，但因等变模型的大型高运算架构不适合于移动设备上运行，因此我们设计和测试了 MobileNetV2 的等变版本，并进一步优化模型量化，以实现更高效的推理，同时实现了与 Patch Camelyon (PCam) 医学数据集的接近最新的性能，同时更具计算效率。

Apr, 2020

神经网络中的不变性学习

该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

Oct, 2020

物理学的对称群等变架构

本文探讨了在物理学和机器学习领域中，研究对称群等变机器学习结构所带来的深度投资和收益，并讨论了应用这些方法的潜在益处和限制以及对不同物理应用的各种评估指标。

Mar, 2022

关于对称性下的学习难度

通过梯度下降，我们研究了学习等变神经网络的问题。尽管已知的问题对称（“等变性”）被纳入神经网络中，经验上改善了从生物学到计算机视觉等领域的学习流程的性能，但是一项有关学习理论的研究表明，在相关统计查询模型（CSQ）中，实际学习浅层全连接（即非对称）网络的复杂度呈指数级增长。在这项工作中，我们提出了一个问题：已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难？我们的答案是否定的。特别地，我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界，这些下界在相关输入维度中都以超多项式或指数级增长。因此，尽管通过对称性注入了显著的归纳偏差，但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。

Jan, 2024

近似等变神经过程

通过使用已有的等变体系结构，我们在构建神经过程中使用近似等变性的方法，证明了该模型在合成和真实回归实验中的有效性。

Jun, 2024

应用置换等变神经网络于动态预测

介绍了一种对置换对称的神经网络层，类比于卷积层，可以预测 2D 中密集互动粒子的运动，同时可以适应不同数量的对象。

Dec, 2016

等变可操控神经网络：对对称群的特别强调综述

本研究论文探讨卷积神经网络在对称群中的应用，提出了群等变神经网络的概念和架构，以及使用多种层和滤波器的方法，为对称群的表示和胶囊的细节做出了数学分析。

Jan, 2023