基于自编码器的非线性模型降阶技术在算子学习中的泛化误差保证

Jan, 2024

基于自编码器的非线性模型降阶技术在算子学习中的泛化误差保证

Generalization Error Guaranteed Auto-Encoder-Based Nonlinear Model Reduction for Operator Learning

Hao Liu, Biraj Dahal, Rongjie Lai, Wenjing Liao

TL;DR我们利用自动编码器神经网络 (AENet) 研究模型缩减中的低维非线性结构，通过先学习输入数据的潜在变量，然后学习这些潜在变量到相应输出数据的转换，成功地验证了 AENet 准确学习非线性偏微分方程解算符的能力，并建立了数学和统计估计理论来分析 AENet 的泛化误差。我们的理论框架表明训练 AENet 的样本复杂性与模拟过程的内在维度密切相关，同时也展示了 AENet 对噪声的显著鲁棒性。

Abstract

Many physical processes in science and engineering are naturally represented by operators between infinite-dimensional function spaces. The problem of operator learning, in this context, seeks to extract these physical processes from empirical data, which is challenging due to the infi

operator learning model reduction auto-encoder-based neural network nonlinear partial differential equations generalization error

发现论文，激发创造

使用受限自动编码器学习非线性投影用于动态系统的降阶建模

最近开发的降阶建模技术旨在从数据中学习的低维流形上近似非线性动力系统。我们介绍了一种由约束的自动编码器神经网络描述的参数化非线性投影类，其中流形和投影纤维都是从数据中学习得到的。此外，我们还提出了一些新的动力学感知成本函数，以促进学习考虑快速动力学和非正常性的斜投影纤维。为了展示这些方法及其解决的特定挑战，我们提供了一个关于涡街现象的三状态模型的详细案例研究。同时，我们还提出了几种基于我们提出的非线性投影框架构建计算高效的降阶模型的技术。这包括一种用于避免计算 Grassmann 流形上有害的权重矩阵收缩的新型稀疏促进惩罚项的编码器。

Jul, 2023

用深度卷积循环自编码器学习流体系统低维特征动态

本研究提出一种基于深度学习的非线性模型降维策略，通过深度卷积自编码器和 LSTM 网络构建模块化模型，实现繁重计算任务中的模型降维，同时保持计算效率和系统稳定性。

Aug, 2018

一种用于维度估计的加性自编码器

本文针对降维问题提出并分析了一种由序列化偏差估计、线性趋势估计和非线性残差估计组成的增量自编码器。实验结果表明，仅通过浅层网络封装非线性行为的自编码器能够识别具有低自编码误差的数据集的内在维度。该研究进一步比较了深层和浅层网络结构及其训练方法，发现深层网络结构在识别内在维度时获得较低的自编码误差，但是与浅层网络相比，检测到的维度并没有变化。

Oct, 2022

低数据情况下基于 PCA 增强的自编码器用于非线性降维

提出了一种利用 PCA 和参数化的 ReLU 激活函数进行自编码器训练的方法，以解决非线性数据降维问题，特别是对于数据稀缺及昂贵的纳米光子学元件设计和其他科学领域的任务。

May, 2022

基于神经自编码器的高维物理系统结构保持模型降阶与控制设计

控制导向的、结构保持的学习关于高维物理系统的低维近似，重点研究机械系统。我们研究了在模型阶数降低中整合神经自编码器，同时保留哈密顿或拉格朗日结构。我们着重评估所考虑方法的性能，通过在包含数百个状态的大型质量 - 弹簧 - 阻尼网络上进行模拟和控制实验。实证结果显示，少于 5 个自由度的压缩潜在动态可以以约 4% 的相对总误差准确重构原始系统的瞬态和稳态行为，同时准确重构总能量。利用这种系统压缩技术，我们介绍了一种基于模型的控制器，利用压缩模型的数学结构来调节受强减调控机械系统的配置。

Dec, 2023

在潜在空间中学习提高深度神经算子的预测准确性

使用深度自编码器识别高维 PDE 输入输出函数的潜在特征表示，可以增强学习，并提高时间依赖型的 PDE 模型的计算精度和效率。

Apr, 2023

自编码器为何有效？

深度神经网络自编码器常用于模型简化，在此研究中通过调整网络参数来最小化输入与重构输出之间的差异，以达到恢复输入数据的效果，并证明了该方法的有效性。

Oct, 2023

一种自编码器机制框架

本文提出了自动编码器机制的理论框架，研究了编码器的两个基本属性：双射映射和数据解缠，并给出了满足这两个属性中任意一个或同时具备的编码器的构造方法。基于该理论框架，我们解释了一些自动编码器的实验结果，证明自动编码器在降维和分类方面相较于 PCA 和决策树的优势，同时该理论框架还解释了卷积神经网络和随机加权神经网络。

Aug, 2022

用于哈密顿系统模型简化的辛自编码器

为了解决大维物理系统不同参数选择下的计算成本过高问题，该研究提出了模型简化和神经网络结构的新方法，其中关键是保存系统的辛结构和利用网络设计中的微分几何结构进行训练，该方法在准确性方面表现显著优于现有设计。

Dec, 2023

用于发现复杂动力系统数据中 Manifold 的维度和坐标的自编码器

本文介绍了一个自编码器框架，结合隐式正则化和内部线性层，自动估计数据集的底层维度，生成正交流形坐标系，并提供周围空间和流形空间之间的映射函数，为拓展样本作出一定的贡献，展示了该框架在各种数据集中对流形维度的能够自动估计，分析了该架构的梯度下降动态，以及扩展到状态空间建模和预测的应用，并证明了该框架对超参数选择的鲁棒性。

May, 2023