Feb, 2024

构建可扩展科学计算的灵活机器学习模型

PDF
TL;DROmniArch 是一种用于构建多物理科学计算的基础模型的变革性方法，它通过多物理时空数据的全能管道进行预训练，并利用精调期间的新颖的物理知情强化学习技术确保与物理定律的一致性。在全面的 PDEBench 数据集上经过预训练的 OmniArch 不仅为 1D、2D 和 3D PDEs 设立了新的性能基准，而且通过少样本学习和零样本学习方法展现了对新物理的卓越适应性。该模型的表示还扩展到逆问题求解，突显了 AI 辅助科学计算 (AI4SC) 基础模型在工程应用和物理发现方面的变革潜力。
发现论文，激发创造
  • OmniJet-$α$: 跨任务的粒子物理学基础模型

    多数据集和多任务的基础模型能够在预先训练后为各种下游应用进行微调，本文在物理数据上取得重大突破，引入了一套评估方法，并展示了无监督问题和经典监督任务之间的成功迁移学习，这是粒子物理学基础模型构建的重要一步。

    Mar, 2024

  • 物理资讯神经网络与图形网络的可扩展算法

    本文综述了物理信息机器学习在解决复杂物理和生物系统中的应用，重点介绍了使用 PINN 和 PIGN 网络的物理信息神经网络和图神经网络的应用以及其在大规模工程问题中的扩展。

    May, 2022

  • 走向科学机器学习的基础模型：特征缩放与转移行为表征

    研究表明，预训练模型可以应用于科学机器学习任务中的迁移学习，可在细调适当的预训练模型下，以比从头开始训练少得多的下游示例实现期望的准确度水平。模型的规模越大，用 fine-tuning 方法会获得更好的性能提升，这为 SciML 问题的建模奠定了基础。

    Jun, 2023

  • PonderV2：铺设通向通用预训练范式的 3D 基础模型之路

    通过可微分神经渲染，我们提出了一个新的通用方法来学习点云表示，实现了 3D 和 2D 之间的无缝集成，并在室内和室外场景中的多个任务中实现了卓越的性能和持续改进。

    Oct, 2023

  • 面向偏微分方程的基于多操作符学习和外推的基础模型

    我们介绍了一种用于科学问题的多模态基础模型 PROSE-PDE，它是一种多运算符学习方法，可以预测时空系统的未来状态，并同时学习物理系统的底层控制方程。我们通过三个外推研究证明了 PROSE-PDE 可以通过训练多个运算符来泛化物理特征，且该模型能够推断出在训练过程中未见过模型或数据的偏微分方程解。此外，通过系统数值实验，我们展示了我们模型中符号模态的有效利用解决了训练多个运算符的完整性问题，从而增强了我们模型的预测能力。

    Apr, 2024

  • 神经振荡器用于物理推断机器学习的泛化

    该研究提出了一种新方法，通过融合系统常微分方程所基于的神经振荡器，有效地捕捉长期依赖关系并解决爆炸梯度问题，从而增强了物理先验机器学习模型在复杂物理问题中的泛化能力。通过在时间依赖的非线性偏微分方程和双调和梁方程中进行实验，证明了该方法在基准问题上的优越性能，显著提高了物理先验机器学习的泛化能力，为训练数据之外的外推和预测提供了准确的解决方案。

    Aug, 2023

  • OmniForce：基于人类中心、大型模型及云边协同的自动机器学习系统

    本研究介绍了 OmniForce，一个以人为中心的自动机器学习（HAML）系统，利用人类与机器学习相互作用，建立在开放环境场景中的智能应用，自动产生远程服务并证明其有效性和效率。

    Mar, 2023

  • 化工过程建模的基础模型：物理信息适应的元学习

    我们在非线性化学过程建模领域引入了基础模型的新应用，通过元学习和物理信息驱动的适应性构建出具有快速适应于任何新化学过程的单一、通用的神经网络（即基础模型），在几个数据样本的情况下，我们的方法在各种化学反应中取得了优于常规方法的性能。

    May, 2024

  • 通用地理空间人工智能的基础模型

    基于深度学习的 Prithvi 地球观测模型通过高效前期训练和微调，成功实现地球观测领域多个任务的优化，证明了预训练模型在加速微调过程以及在性能上优于随机初始化权重的作用，并表明可显著减少可用标注数据的数量而不影响模型准确性。

    Oct, 2023

  • 预训练物理信息深度学习的基于减小阶数的非线性参数化 PDE 模型

    使用 Proper Orthogonal Decomposition (POD) 和基于深度学习的 ROMs (DL-ROMs) 的耦合是构建参数非线性时变 PDE 实时解的非侵入性高精度代理的成功策略，然而传统 POD-DL-ROMs 通过训练数据仅考虑问题的物理规律，并且可用数据的数量强烈影响其准确性，因此本文提出了一种基于物理规律的训练策略来改善可用数据不足的问题，并开发了预训练过程来提高预测可靠性。

    May, 2024