Oct, 2023
物理替代模型的多物理预训练
Multiple Physics Pretraining for Physical Surrogate Models
Michael McCabe, Bruno Régaldo-Saint Blancard, Liam Holden Parker, Ruben Ohana, Miles Cranmer...
TL;DR我们介绍了一种多物理预训练（MPP）方法，这是一种用于物理代理建模的自回归通用预训练方法。MPP 通过学习在不同物理任务中广泛适用的特征，训练大型代理模型来同时预测多个异质物理系统的动力学。我们引入了共享的嵌入和归一化策略，将多个系统的字段投影到单一共享的嵌入空间中，以有效地学习。我们在广泛的流体力学基准测试中验证了我们方法的有效性，既在预训练任务上，也在下游任务上表现出优于特定任务的基准模型的能力，且无需微调。对于下游任务，我们证明微调 MPP 训练的模型相比从头训练或微调预训练视频基础模型，对多个时间步长上的新物理现象具有更准确的预测能力。我们开源了我们的代码和多个尺度上训练的模型权重，以便复现和社区实验。