Aug, 2023

神经算子中的专业变换有多重要？

PDF
TL;DR研究表明，使用可学习的线性层替代变换层可以在性能上与最佳的基于变换的层相媲美，并且在计算时间上具有优势，这对神经操作符的未来工作可能具有重要的影响，也可能指出这些架构的其他效率来源。
physical systemspartial differential equationstransform-based neural operatorstransform layerslearnable linear layers
发现论文，激发创造
  • 参数偏微分方程的傅里叶神经算子

    该论文提出了一种新的神经算子，通过直接在傅里叶空间中参数化积分核，实现了对偏微分方程的求解，并在 Burgers' equation、Darcy 流和 Navier-Stokes 方程等测试中展现了高准确率和比传统方法高三个数量级的速度。

    Oct, 2020

  • 利用 Transformer 作为具有有限规律性的微分方程求解的神经算子

    神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。

    May, 2024

  • 使用 Transformer 进行偏微分方程的多尺度时间步进

    使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

    Nov, 2023

  • Clifford 神经层用于 PDE 建模

    本研究使用多向量场与 Clifford 卷积、Clifford Fourier 变换相结合的方法来加速神经 PDE 代理，取得了比常规方法更好的预测效果。

    Sep, 2022

  • 采用图神经算子的多尺度物理表示来近似偏微分方程解

    本论文研究了三种基于神经积分算子的多分辨率模式，并使用消息传递图神经网络进行了验证，以解决描述物理现象中的偏微分方程最具挑战性问题之一 —— 在不同尺度下表示物理信号。

    Jun, 2022

  • 关于偏微分方程中各个领域和参数的微分同胚神经算子

    通过可微分同胚神经运算符学习框架，提出了一种面向具有不同和复杂领域的物理系统的域灵活模型的方法，实现神经运算符在不同领域中的强大学习能力和鲁棒的概化。

    Feb, 2024

  • Transformer 层的神经 ODE 解释

    本文提出了一种修改 Transformer 层内部结构的方法，将多头注意力子层和 MLP 子层并行布置，并且结合使用神经 ODE 求解器的高级积分方案，提高了 Transformer 网络在多个任务中的性能。

    Dec, 2022

  • 基于物理信息的无网格深度组合算子网络

    参数化偏微分方程、神经算子、物理信息训练、不规则域形状和可变网格尺寸的研究

    Apr, 2024

  • 加速科学模拟与设计的神经运算器

    基于神经操作符的人工智能框架为连续域函数之间的映射学习提供了一个原则性框架，通过零样本超分辨率等功能，可以为科学发现和工程设计的模拟和设计提供快速的数据驱动代替，进而带来快速的研究与开发。

    Sep, 2023

  • 基于多小波算子的微分方程学习

    本文介绍了一种基于多小波神经算子学习方案的解微分方程的方法，该方法使用细粒度小波压缩相关算子的内核，并通过显式嵌入逆小波滤波器，将内核投影到固定的多项式基上进行训练，在多个尺度上训练投影内核，实现了解微分方程的分辨率独立方案。与现有的神经算子方法相比，我们的模型在一系列数据集上展现出更高的准确性，并取得了最新的成果。

    Sep, 2021