一维标量非线性守恒方程中基于上下文算子网络的 PDE 推广研究
本文提出了一种用于无配对输入输出观测的深度神经网络参数化的无穷维算子的学习框架，以实现对于参数 ODE/PDE 系统的精确长时间模拟，该方法虽然比传统数值解算法计算成本低，但可靠性更高且能够全局评估。
Jun, 2021
提出了一种利用 MIONet 在具有不同域定义的偏微分方程上学习求解算子的方法，并在理论上对此方法进行了验证。通过将 MIONet 的逼近理论扩展到处理度量空间，构造了一组包含适当区域的集合，并在该集合上提供了一种满足 MIONet 逼近条件的度量，从而在处理包括微分算子、右手边项、边界条件和域参数在内的各种参数变化的 PDE 的求解映射方面取得了进展。实验证明该方法在处理凸多边形、具有光滑边界的极坐标区域以及不同离散程度的任务预测方面表现出色。明确地指出，这是一种无网格方法，因此可以作为一种一类 PDE 的通用求解器灵活使用。
Feb, 2024
利用对比预训练框架和广义对比损失实现神经算子在多个方程上的泛化，提高了傅里叶神经算子在固定未来任务中的准确性和泛化能力，同时在一维热、Burgers' 和线性对流方程的自回归展开和超分辨率任务中表现出相当的性能。
Jan, 2024
通过 DIffeomorphic Mapping Operator learNing（DIMON）在多个领域上学习 PDE 解决方案，为工程和精准医学领域提供了快速 PDE 解决方案的预测和神经算子应用的可能性。
Feb, 2024
通过机器学习方法和物理领域专业见解相结合，解决基于偏微分方程的科学问题在近年来取得了很大的进展。然而，这些方法仍然需要大量的偏微分方程数据。为了提高数据效率，我们设计了无监督的预训练和上下文学习方法用于偏微分方程算子学习，通过重构为代理任务的无标签偏微分方程数据对神经算子进行预训练。为了提高超出分布的性能，我们进一步辅助神经算子以灵活地利用上下文学习方法，而无需额外的训练成本或设计。对多种偏微分方程进行的大量实证评估表明我们的方法具有高度的数据效率、更好的泛化性能，甚至胜过传统的预训练模型。
Feb, 2024
该论文提出了一种分布式数据范围方法，通过严格限制信息范围来预测局部属性，从而解决了深度学习架构在传输现象模拟中的不兼容问题，实验证明该方法显著加速了训练收敛并提高了大规模工程模拟的模型泛化能力。
May, 2024
本文提出了一种名为 INDEED 的基于神经网络的方法，它可以同时从数据中学习运算符并在推理阶段应用于新问题，无需任何重复训练，本方法通过训练单个神经网络作为运算符学习器，不仅可以摆脱为新问题重新调整神经网络的困扰，还可以利用算子之间共享的特性，同时只需少量演示即可学习新的算子。该文的数值结果显示，INDEED 显著提高了模型的准确性并且能够泛化到训练分布之外，甚至适用于未见过的运算符类型。
Apr, 2023
本文提出了一种被称为物理学知识不同 DeepONets 的新模型类，通过使用自动差分在模型训练期间施加软惩罚约束来实现重力定律，其将 DeepONet 模型输出偏向于确保物理一致性，进而显著提高 DeepONets 的预测准确性，并大大减少了大型训练数据集的需求。
Mar, 2021
在科学机器学习的不断发展中，上下文操作符学习在推理阶段从提示数据中学习操作符而无需进行权重更新方面显示出显著潜力。然而，当前模型对传感器数据的过度依赖可能会无意中忽视对操作符的宝贵人类洞察力。为了解决这个问题，我们将上下文操作符学习转化为多模态范式的方法。我们提出使用 “标题” 来集成人类关于操作符的知识，通过自然语言描述和方程式来表达。我们说明了这种方法不仅扩展了物理驱动学习的灵活性和广泛性，而且显著提高了学习性能并减少了数据需求。此外，我们介绍了一种更高效的多模态上下文操作符学习神经网络架构，称为 “ICON-LM”，基于类似语言模型的架构。我们展示了 “ICON-LM” 在科学机器学习任务中的可行性，为语言模型的应用开辟了新的道路。
Aug, 2023