CrystalGPT：利用时间序列转换器增强结晶预测控制中的系统之间的可转移性

May, 2023

CrystalGPT：利用时间序列转换器增强结晶预测控制中的系统之间的可转移性

CrystalGPT: Enhancing system-to-system transferability in crystallization prediction and control using time-series-transformers

PDF

Niranjan Sitapure, Joseph S. Kwon

TL;DR本文提出了一种新型的 TST 框架，可以通过转换算法中固有的强大转移学习能力，实现机器学习数字孪生在不同化学系统中的可持续性转移，并将其与预测控制器相耦合以实现目标跟踪的低方差。

Abstract

For prediction and real-time control tasks, machine-learning (ML)-based digital twins are frequently employed. However, while these models are typically accurate, they are custom-designed for individual systems,

machine-learning digital twins time-series-transformer transfer learning predictive controller

发现论文，激发创造

引入基于时间序列 - Transformer 的混合建模：批结晶中串行与并行方法的对比研究

现有的数字孪生都依赖于基于数据的黑盒模型，主要使用深度神经网络来捕捉化学系统的动态，然而，由于安全和操作问题，这些模型尚未在实践中得以应用，为了解决这个问题，将基于物理学原理的混合模型与机器学习模型相结合已经越来越受欢迎，具有较强的预测性能，因此，为批次结晶开发了一种基于时间序列变压器的混合框架，通过与传统黑盒模型相比，该框架展示了更好的准确性和可解释性，未来预计基于注意力机制的混合模型将在化学制造业的发展中发挥关键作用。

Jul, 2023

晶体结构的生成逆设计：基于转换器的扩散模型

通过训练生成模型来加快科学发现并推动各个科学领域的重大进展，尤其是发现具备良好性能的新型无机材料是一项关键挑战，不同于文本或图像数据，材料，特别是晶体结构，由多种类型的变量组成，包括晶格矢量、原子位置和原子种类，本研究探索一种基于 Transformer 架构的新型扩散模型，用于生成具有所需性质的晶体结构，并证明我们的模型在多样性方面优于先前方法，而我们的实证结果表明，最佳条件方法因数据集而异。

Jun, 2024

KPGT: 分子属性预测中的图形 Transformer 的知识引导预训练

本文提出了一种名为 “知识引导图转换器的预训练 (KPGT)” 的自监督学习框架，利用高容量的线性图转换器（LiGhT）和知识引导的预训练策略，以解决分子属性预测中存在的两个主要问题，并在大规模无标签分子图上显示出卓越的性能。

Jun, 2022

知识蒸馏增强的数字孪生在异常检测中的应用

提出了一种名为 KDDT 的新方法用于列车控制和管理系统 (TCMS) 的异常检测，该方法利用语言模型 (LM) 和长短期记忆 (LSTM) 网络来提取背景和时间特征，在实证研究中，KDDT 表现出了卓越的性能。

Sep, 2023

应用于复合材料热压处理的连续元迁移学习（SMT）以应对物理信息神经网络的复杂性

通过提出一种新颖的顺序元迁移学习框架，将物理导向神经网络（PINN）分解 PDE 的时间域以创建适用于 PINN 训练的较小时间段的 “较简单” 问题，并通过元学习器在各个时间间隔上进行训练，以实现快速适应各种相关任务的最佳初始状态，并借助迁移学习方法进一步降低计算成本，从而明显提高了 PINN 的适应性并显著降低了计算成本，将计算成本降低了 100 倍。

Aug, 2023

基于空间群信息的晶体材料生成变压器

CrystalFormer 是一种基于 Transformer 的自回归模型，专门用于由空间群控制的晶体材料生成，其利用空间群对晶体空间进行了显著简化，通过直接预测单元胞中对称不等价原子的种类和位置来生成晶体，实验结果显示 CrystalFormer 在生成晶体材料的有效性、新颖性和稳定性方面与最先进的性能相匹配，并且可以从数据中准确地提取出合理的固态化学信息用于生成建模，它的简单性、通用性和灵活性使其成为整个晶体材料空间的基础模型，开启了材料建模和发现的新时代。

Mar, 2024

GPT-Lab: GPT 驱动的机器人实验室的下一代最佳化学发现

GPT-Lab 使用 GPT 模型使机器人具备与人类智能相似的能力，在化学实验中挖掘文献的材料和方法，并通过高通量合成验证发现，展示了我们系统在材料发现和验证方面的快速潜力。

Sep, 2023

ProcessGPT：用生成人工智能改变商业流程管理

使用 GPT 技术提出了 ProcessGPT 作为增强数据中心和知识密集型流程决策的新技术，它可以通过使用深度学习和 NLP 来开发训练模型和生成流程来帮助提高流程管理效率，降低成本并支持业务运营的质量提升。

May, 2023

连续时空转换器

这篇论文介绍了一种新的基于 Continuous Spatiotemporal Transformer (CST) 的连续动态系统建模方法，能够通过 Sobolev 空间的优化保证连续且平滑输出，实现了对实验数据中脑电波等连续系统的建模，性能在各项任务中均优于传统的基于离散时间和空间的 Transformer 模型及其他动态系统建模方法。

Jan, 2023

KetGPT -- 基于 Transformer 的量子电路数据增强

利用 Transformer 机器学习架构生成更真实的量子线路数据集，通过 KetGPT 工具生成以人类编写的基于算法的代码结构为基础的 OpenQASM 语言的合成线路，可用于评估量子系统的性能，并为 AI 驱动的量子编译器和系统做出重要贡献。

Feb, 2024