Nov, 2023

RONAALP：带有主动学习过程的降阶非线性逼近

PDF
TL;DR提出 RONAALP 算法用于增量学习快速准确的高维函数的降阶代理模型，在线阶段使用主编码器、社区聚类和径向基函数网络相结合的方式学习高效紧凑的代理模型，通过主动学习程序克服模型在初始训练范围外进行外插的问题，从而得到能够推广且快速准确的高维函数的降阶模型，并在化学非平衡的高超声速流动的三个数值模拟中加以验证，通过动态学习降阶热力学模型代理，将模拟计算的成本减少了 75%，同时保持感兴趣物理量上的误差小于 10%。
发现论文，激发创造
  • 基于主动学习的代理建模技术用于高效模拟参数非线性系统

    本研究提出了一种非侵入式优化准则，以有效地构建参数化代理模型，利用基于核的浅层神经网络的主成分分析子空间和主动学习方法构建了 ActLearn-POD-KSNN 代理模型，该模型可以有效地预测新参数位置处的求解，即使在有多个相互作用的激波轮廓的情况下。

    Jun, 2023

  • 使用受限自动编码器学习非线性投影用于动态系统的降阶建模

    最近开发的降阶建模技术旨在从数据中学习的低维流形上近似非线性动力系统。我们介绍了一种由约束的自动编码器神经网络描述的参数化非线性投影类，其中流形和投影纤维都是从数据中学习得到的。此外，我们还提出了一些新的动力学感知成本函数，以促进学习考虑快速动力学和非正常性的斜投影纤维。为了展示这些方法及其解决的特定挑战，我们提供了一个关于涡街现象的三状态模型的详细案例研究。同时，我们还提出了几种基于我们提出的非线性投影框架构建计算高效的降阶模型的技术。这包括一种用于避免计算 Grassmann 流形上有害的权重矩阵收缩的新型稀疏促进惩罚项的编码器。

    Jul, 2023

  • 面向工程设计的数据高效代理建模：基于批量模式的深度主动学习回归，无需集成

    提出了一种简单且可扩展的主动学习方法，以在学生 - 教师方式下训练替代模型，以取代使用贝叶斯框架对基于深度神经网络（DNN）的替代模型进行复杂的训练过程，从而利用深度学习的优秀能力来减少计算复杂度，在实践中验证了该方法具有可行性并可用于多个工程设计领域。

    Nov, 2022

  • 用于高效在线贝叶斯回归的元学习先验

    ALPaCA 是一种使用神经网络的元学习算法，通过在数据集中学习一个特定领域的有限维特征编码和相关权重的先验，利用后验预测密度进行贝叶斯线性回归，以提高回归任务在机器人领域的可伸缩性和数据效率。

    Jul, 2018

  • 自适应学习有效动态：适应复杂系统的实时在线建模

    提出一种名为 AdaLED 的新型系统框架，以自动编码器为主要工具，利用概率递归神经网络进行时间步进，通过在线训练不断改进，建立预测模型从而实现大规模模拟的高速运行和在线适应性学习，应用在 Van der Pol 振荡器，2D 反应扩散方程和 2D Navier-Stokes 圆柱流中，具有较高的准确性和鲁棒性。

    Apr, 2023

  • 用于非线性系统控制导向识别的主动学习

    模型基础的强化学习是控制未知系统有效的方法，本文聚焦于具有非线性参数依赖的模型，并展示了适用于一类非线性动力学问题的主动学习算法的有限样本分析。

    Apr, 2024

  • 超高 LoRA

    使用 LoRA-based HyperPINN 模型，在减少参数预测的维度的同时，通过添加基于物理方程的损失组件，显著改善了模型的泛化能力，使其能够有效地求解参数化偏微分方程，例如 Burger's 方程和 Navier Stokes: Kovasznay 流，且相比于其他基准模型，平均减少了 8 倍的参数预测，而不影响模型精度。

    Aug, 2023

  • 基于自编码器的非线性模型降阶技术在算子学习中的泛化误差保证

    我们利用自动编码器神经网络 (AENet) 研究模型缩减中的低维非线性结构，通过先学习输入数据的潜在变量，然后学习这些潜在变量到相应输出数据的转换，成功地验证了 AENet 准确学习非线性偏微分方程解算符的能力，并建立了数学和统计估计理论来分析 AENet 的泛化误差。我们的理论框架表明训练 AENet 的样本复杂性与模拟过程的内在维度密切相关，同时也展示了 AENet 对噪声的显著鲁棒性。

    Jan, 2024

  • 基于浅层掩模自编码器的快速、精确、物理先验神经网络降阶模型

    提出一种基于神经网络减小秩的 ROM 新方法，在处理对流主导的现象时更好地逼近高保真模型，通过在非线性流域中超减少运算并得到适当的误差界限达到更好的效率。

    Sep, 2020

  • 稳定非凸非凹训练的线性插值方法

    该论文从线性插值的角度对神经网络训练的稳定性进行了理论分析，提出了一种基于非扩张算子理论的优化方法 —— 放松近似近端点（Relaxed Approximate Proximal Point，RAPP），该方法扩展并优化了 Lookahead 算法，并通过对生成对抗网络的实验证明了 RAPP 和 Lookahead 中线性插值的优势。

    Oct, 2023