本文提出了一个经过预训练的分子语言模型 MolGen，通过多任务分子前缀调整自我反馈机制，可以在多个分子生成任务和不同领域（合成和天然产物）中有效地学习和共享知识，进而在众多分子生成基准数据集上获得优越性能。

Jan, 2023

通过 GeoMFormer 这一基于 Transformer 的分子模型，在维持和学习不变和等变表示的同时，通过精心设计的交叉注意力模块实现信息融合和增强几何建模，以提高不同类型和规模的不变和等变任务的性能。

Jun, 2024

本文提出了一种多视图方法，将来自最先进化学模型的潜在空间进行结合，其中使用了基于 MHG-GNN 的嵌入（将分子结构表示为图形）和根植于化学语言的 MoLFormer 嵌入。我们通过在六个基准数据集上评估该方法，证明了我们所提出的多视图方法在预测临床试验药物毒性和抑制 HIV 复制等复杂任务上，优于现有的最先进方法，包括在 11 亿个分子上进行训练的 MoLFormer-XL。研究结果突显了潜在空间融合和特征整合在推进分子属性预测方面的潜力。

Oct, 2023

SELFormer 是一种基于变压器架构的化学语言模型，利用 100％有效，紧凑和自我表达符号 SELFIES 作为输入来学习灵活且高质量的分子表示方法，并可以发现隐藏在数据中的知识， 这种方法在药物发现中具有很大的潜力。

Apr, 2023

通过引入 GIT-Mol 和 GIT-Former，我们开发了一种创新的任意类型到语言的分子翻译策略，并在分子字幕生成方面实现了 10%-15% 的改进，在属性预测方面提高了 5%-10% 的准确性，并且在分子生成有效性方面提高了 20%。

Aug, 2023

我们提出了一种基于 LLama 2 架构的单一新颖生成模型 LLamol，它在来自多样公共来源的 1300 万有机化合物的超集上进行了训练，并引入了一种名为 “Stochastic Context Learning” 的新的训练过程。该模型可以灵活地将三个数字和 / 或一个令牌序列加入到生成过程中，展示了在单一和多条件有机分子生成方面的熟练处理能力，使得 LLamol 成为一个易于扩展新属性的全新分子设计工具。

Nov, 2023

本文提出了 Geometry-aware line graph transformer (Galformer) 预训练方法，采用 2D 和 3D 模态增强分子表示学习，通过对无标签的分子进行两个互补的预训练任务，提取出 2D 和 3D 知识，并在性质预测方面表现出优越性能。

Sep, 2023

我们提出了一种新颖的 Transformer 架构 Moleformer，它将节点（原子）和边（键和非键原子对）作为输入，并使用旋转不变性和平移不变性的几何感知空间编码来模拟它们之间的相互作用。我们在 OC20 和 QM9 数据集上进行了基准测试，Moleformer 在 OC20 的初始状态到松弛能量预测方面实现了最先进的水平，并且在预测量子化学性质方面与其他 Transformer 和图神经网络方法相比非常有竞争力，证明了所提出的几何感知空间编码在 Moleformer 中的有效性。

Feb, 2023

利用深度学习优化多目标抗菌肽，通过多目标合成管道（MoFormer）在结构化潜空间中引导和改善抗菌肽序列的属性以提高抗菌活性和减少溶血，同时使用非支配排序算法和大模型微调的代理方法进行候选者的层次排名，通过分子模拟和可视化潜空间来追踪和优化肽的结构和功能，验证了多目标优化的有效手段。

Jun, 2024

本文提出了一种基于 Sparse Mixture of Experts (SMoE) 的新型神经网络架构 ModuleFormer，该架构可以从未加工的数据中诱导出多样性，并通过提高效率、扩展性和专业化能力，对大型预训练语言模型进行改进。

Jun, 2023