Mar, 2024
UPS：通过跨模态适应实现 PDE 求解的基础模型
UPS: Towards Foundation Models for PDE Solving via Cross-Modal Adaptation
Junhong Shen, Tanya Marwah, Ameet Talwalkar
TL;DR我们介绍了 UPS（统一 PDE 求解器），这是一种有效和数据高效的方法，用于解决各种定义在不同领域、维度和分辨率上的时空 PDE。UPS 将不同的 PDE 统一到一个一致的表示空间中，并使用具有领域特定神经算子的统一网络架构处理各种 PDE 数据集合。我们通过两阶段的跨模态自适应过程对网络进行训练，利用模态对齐和多任务学习的思想。通过从预训练的 LLMs 中进行适应并利用文本形式的元信息，我们能够使用比先前方法更少的训练样本，并获得强有力的实证结果。UPS 在 PDEBench 的各种 1D 和 2D 数据集上性能优于现有的基准方法，通常取得较大的优势，在 10 项任务中有 8 项达到了最新的结果。同时，它能够在不同的 PDE 家族、系数和分辨率之间进行少样本迁移。