本研究在周期性图上考虑了表示学习问题以编码晶体材料。针对周期性图的独特挑战，我们提出了一种名为 Matformer 的转换器体系结构，用于周期性图的表示学习，它具有周期性不变性和显式重复模式编码的特点。我们的实验结果表明，相对于基线方法，Matformer 在多个公共基准数据集上始终表现更好。此外，我们的结果还表明了周期性不变性和显式重复模式编码对于晶体表示学习的重要性。

Sep, 2022

基于晶格方式建立晶体原子的晶格表示来有效地捕捉晶体的完整几何信息并处理手性晶体是一个挑战，本文提出了 ComFormer，一个专门针对晶体材料设计的 SE (3) 变压器，其包括 iComFormer 和 eComFormer 两个变体，并在三个广泛使用的晶体基准上展示出了 ComFormer 变体的最新预测准确性。

Mar, 2024

本研究介绍了一种基于 Transformer 的适应性框架 CrystalBERT，该框架整合了空间群、元素和晶胞信息，能够准确预测各种物理重要性质，包括拓扑性质和超导过渡温度等，同时提供具有洞察力的对目标物性影响最显著的特征的物理解释。通过结合各种特征，模型在拓扑分类中实现了 91% 的高准确率，超过以往研究，并识别了先前被错误分类的拓扑材料，进一步证明了我们模型的有效性。

May, 2024

通过训练生成模型来加快科学发现并推动各个科学领域的重大进展，尤其是发现具备良好性能的新型无机材料是一项关键挑战，不同于文本或图像数据，材料，特别是晶体结构，由多种类型的变量组成，包括晶格矢量、原子位置和原子种类，本研究探索一种基于 Transformer 架构的新型扩散模型，用于生成具有所需性质的晶体结构，并证明我们的模型在多样性方面优于先前方法，而我们的实证结果表明，最佳条件方法因数据集而异。

Jun, 2024

提出了一种针对晶体结构学习具有自我监督的预训练框架，通过互斥掩码策略和周期不变多图模块来解决晶体结构学习中标签不足和周期不变问题，并在 8 个不同的任务上进行了测试，结果表明该框架具有良好的预测性能。

Jun, 2023

CrystalFormer 是一种基于 Transformer 的自回归模型，专门用于由空间群控制的晶体材料生成，其利用空间群对晶体空间进行了显著简化，通过直接预测单元胞中对称不等价原子的种类和位置来生成晶体，实验结果显示 CrystalFormer 在生成晶体材料的有效性、新颖性和稳定性方面与最先进的性能相匹配，并且可以从数据中准确地提取出合理的固态化学信息用于生成建模，它的简单性、通用性和灵活性使其成为整个晶体材料空间的基础模型，开启了材料建模和发现的新时代。

Mar, 2024

本论文提出利用晶体图卷积神经网络 (CGCNN) 可直接从晶体原子之间的联系学习材料物性，有效提高了晶体材料设计的效率，并能够提取局部化学环境对全局物性的贡献，为晶体材料的设计提供了经验规则。

Oct, 2017

本研究提出了基于蛋白质晶体学和偏离结构信息的变压器模型来预测蛋白质的电子密度图，并通过两个新的肽片段数据集证实了方法在较小的数据集规模和计算成本下能够实现精确预测。

Oct, 2023

使用机器学习进行材料或晶体属性预测在最近几年变得流行，它提供了一种计算效率高并替代了传统模拟方法的替代方案。本研究中，我们采用点对点距离分布（PDD）作为我们学习算法的表示方法，并通过一种空间编码方法将组成信息引入，从而开发了一个变压器模型，该模型在 Materials Project 和 Jarvis-DFT 数据库的晶体上经过测试，在训练和预测时间上表现出与最先进方法相当的准确度，并且速度更快数倍。

Jan, 2024

现有的晶体材料表示方法只考虑晶体分子的局部信息，通过考虑二面角进一步考虑全局信息后，我们首先提出了周期完备表示和计算算法，进而提出了一种特别设计的消息传递机制的网络 PerCNet 进行晶体材料性质预测。在实验证明了周期方案和完备性对晶体表示学习的重要性。

Dec, 2023