May, 2024

化工过程建模的基础模型：物理信息适应的元学习

PDF
TL;DR我们在非线性化学过程建模领域引入了基础模型的新应用，通过元学习和物理信息驱动的适应性构建出具有快速适应于任何新化学过程的单一、通用的神经网络（即基础模型），在几个数据样本的情况下，我们的方法在各种化学反应中取得了优于常规方法的性能。
foundation modelschemical process modelingneural networkmeta-learningphysics-informed adaptation
发现论文，激发创造
  • 物理信息分段线性神经网络的过程优化

    提出了利用物理知识来升级神经网络模型以解决优化问题的方法，通过使用修正线性单元和分段线性逼近的双曲正切激活函数，针对三个不同的案例进行实验，结果表明这种升级模型比传统模型更接近于全局最优解，且更有效地优化了 CPU 时间。

    Feb, 2023

  • 运用物理知识和有限数据的基于物理信息的神经网络在动态过程操作中的应用

    化学工程中，使用物理信息的神经网络模型可以有效地进行过程建模，尤其对于缺乏实验数据和部分未知机理描述的情况下，其推断未测状态的准确性较高且泛化能力强，可作为一种有前景的研究方向进行深入探究。

    Jun, 2024

  • 基于元学习的深度在线学习：模型强化学习中的持续自适应

    本文旨在开发一种方法，从传入的数据流中使用深度神经网络模型进行连续的在线学习，使用随机梯度下降算法来更新模型参数，并使用先验的中餐馆过程的期望最大化算法来开发和维护一种混合模型来处理非平稳任务分布。我们将元学习应用于基于模型的强化学习，以适应预测模型关键控制任务中的连续快速自适应。

    Dec, 2018

  • 机器学习化学厂模拟的可扩展性：一种微调模型以诱导稳定固定点的方法

    通过将机器学习模型直接拟合到植物传感器数据上，我们采用了一种结构化的方法，将化工厂的每个单元表示为一个机器学习模型，并将这些模型连接成一个类似于流程图的有向图。我们发现，对于较小的工厂，这种方法效果良好，但对于较大的工厂，流程图中大型和嵌套循环引起的复杂动力学导致循环求解器的不稳定性。我们对这个问题进行了深入分析，并表明这不仅是一个专业性问题，而是一个更普遍的挑战，可能在应用机器学习于较大工厂时经常出现。为了解决这个问题，我们提出了一种微调机器学习模型的方法，使得使用常规方法求解循环变得稳定。

    Jul, 2023

  • 具有化学反应网络集成的生成模型的自治学习

    微米级袋状互动分子可以自主学习复杂且波动的环境；通过控制理论、机器学习理论、化学反应网络理论和统计物理学，我们开发了一个通用架构，使得广泛类别的化学系统可以自主学习复杂分布。

    Nov, 2023

  • 通过单一分子基础模型双向生成结构和性质

    提出一种双向分子基础模型，通过一个模型进行分子结构和性质推断，在多模态和单模态任务中取得了最先进的性能和可解释的注意力图。

    Nov, 2022

  • 针对业务流程的基础模型案例

    该论文探讨了发展用于处理商业流程数据的基础模型的重要性，以应对数据稀缺、多模型表示、领域特定术语和隐私问题等独特挑战。

    Oct, 2022

  • 元转移的自监督知识：用于创伤后癫痫预测的基础模型

    通过深度学习和自我监督学习相结合的训练策略，我们提出了一种基础模型来改善将正常特征推广到临床特征，以实现从创伤性脑损伤后的数据对创伤性癫痫的预测等临床任务，并在神经系统疾病分类任务和零样本学习预测创伤性癫痫的应用中验证了该策略的有效性。

    Dec, 2023

  • 构建可扩展科学计算的灵活机器学习模型

    OmniArch 是一种用于构建多物理科学计算的基础模型的变革性方法，它通过多物理时空数据的全能管道进行预训练，并利用精调期间的新颖的物理知情强化学习技术确保与物理定律的一致性。在全面的 PDEBench 数据集上经过预训练的 OmniArch 不仅为 1D、2D 和 3D PDEs 设立了新的性能基准，而且通过少样本学习和零样本学习方法展现了对新物理的卓越适应性。该模型的表示还扩展到逆问题求解，突显了 AI 辅助科学计算 (AI4SC) 基础模型在工程应用和物理发现方面的变革潜力。

    Feb, 2024

  • 模型 Ratatouille：回收各种模型以实现超出分布的泛化

    本文提出一种称为 Model Ratatouille 的新技术，通过在多个辅助任务上重新使用同一基础模型的多个微调，利用微调之间的差异提高结果多样性以优化目标任务结果。通过该技术在参考 DomainBed 基准上显着改善了结果，并将贡献到可更新机器学习的新兴范例和开源软件开发类似的社区合作。

    Dec, 2022