通过融合物理属性和化学数据，我们提出了一个多模态深度学习框架，用于预测一种 10 维丙烯酸聚合物复合材料的物理特性。该框架可以处理 18 维的复杂性，成功预测了 114,210 种成分条件下的 913,680 个物性数据点。我们提出了一个分析高维信息空间以进行反向材料设计的框架，并展示了足够的数据可实现的材料类型和规模的灵活性和适应性。这项研究推动了未来对不同材料和更复杂模型的研究，并将我们更接近预测所有材料的所有属性的终极目标。

Mar, 2023

本研究提出了一种多模态框架，该框架将结构数据和文本描述结合起来进行分析，以更好地对材料进行建模并预测其性质。

Jun, 2023

该研究介绍了一种基于组成 - 结构双模态学习的多模态机器学习方法，用于提高实验测得的材料性质的学习和预测，同时通过数据增强技术，显著减小了材料性质的预测误差。

Aug, 2023

ACML 是一种新颖的方法，通过有效的不对称对比学习，将来自不同化学模态的信息无缝传递到分子图表示中，进而提供了综合的表示学习和高效训练，增强了学到的表示的可解释性并支持图神经网络的表达能力。通过实际任务，如同分异构体鉴别和揭示药物发现的关键化学性质，ACML 展示了其改革化学研究和应用的能力，并提供对不同模态的化学语义的深入理解。

Nov, 2023

该研究论文介绍了一种新的机器学习框架，用于从现有的材料数据中提取预测模型，方法是使用具有化学多样性的属性列表，并将数据集分成相似材料组，提高预测准确度，可用于预测晶态和非晶材料的多种属性。

Jun, 2016

本研究提出了一种新的模型（MT-CGCNN），通过将 CGCNN 与基于多任务学习的转移学习相结合，成功预测形成能量、带隙和费米能级等多材料性质，取得了较 CGCNN 更好的效果，结果鼓励进一步开发多任务学习的机器学习方法来解决新材料发现中的挑战。

Nov, 2018

准确预测分子性质是药物发现中的一个具有挑战性但必不可少的任务。最近，多模态深度学习方法成功应用于分子性质预测，以克服传统单模态学习方法的局限性并提升模型在准确性、可靠性和抗噪性方面的表现。

Dec, 2023

本研究基于局部化学环境和贝叶斯统计学习的机器学习模型，提供了一个统一的框架，可以预测原子尺度的稳定性和不同类别的分子的化学精度，可以区分活性和非活性的蛋白质配体，这种方法可以对材料和分子的势能面提供新的洞察。

Jun, 2017

多模态大模型（MLMs）是一个重要的研究重点，通过将强大的大型语言模型与多模态学习相结合，对不同的数据模态执行复杂任务。本文综述了 MLMs 的最新发展和挑战，强调它们在实现人工通用智能和作为世界模型路径中的潜力。我们概述了关键技术，如多模态思维链（M-COT），多模态指导调优（M-IT）和多模态上下文学习（M-ICL）。此外，我们讨论了多模态模型的基本和具体技术，突出了它们的应用、输入 / 输出模态和设计特征。尽管取得了显著进展，但统一的多模态模型的发展仍然困难。我们讨论了整合 3D 生成和具体模拟能力以增强世界模拟能力，并提出整合外部规则系统以改进推理和决策的方法。最后，我们概述了未来的研究方向，以应对这些挑战并推进该领域。

Jun, 2024

将自然语言和图形表示相结合，通过对齐神经图形表示和特性文本描述的表示，提高了下游分子属性分类任务的性能，实现了与仅以图形方式进行预训练的模型相比的 + 4.26% AUROC 的增益，并相对于最近提出的分子图 / 文本对比训练的 MoMu 模型 (Su et al. 2022) 的 + 1.54% 增益。

Jul, 2023