Aug, 2023

材料科学的多模态机器学习：从实验测定的属性到成分 - 结构双模态学习

PDF
TL;DR该研究介绍了一种基于组成 - 结构双模态学习的多模态机器学习方法，用于提高实验测得的材料性质的学习和预测，同时通过数据增强技术，显著减小了材料性质的预测误差。
multimodal machine learningmaterials informaticscomposition-structure bimodal learningexperimentally measured materials propertiesdata augmentation
发现论文，激发创造
  • 多模学习的晶体材料

    材料科学中的人工智能通过提高性能预测和加速新材料的发现，革命了这一领域。通过多模态对齐在共享潜在空间中连接高维材料性质，我们介绍了多模态学习结晶材料（MLCM）的基础模型训练新方法，展示了 MLCM 在多个方面的实用性，并在材料科学领域中引入了人工智能革命的创新。

    Nov, 2023

  • CrysMMNet: 晶体属性预测的多模态表示

    本研究提出了一种多模态框架，该框架将结构数据和文本描述结合起来进行分析，以更好地对材料进行建模并预测其性质。

    Jun, 2023

  • 一种全面而多功能的多模态深度学习方法，用于预测先进材料的多种性质

    通过融合物理属性和化学数据，我们提出了一个多模态深度学习框架，用于预测一种 10 维丙烯酸聚合物复合材料的物理特性。该框架可以处理 18 维的复杂性，成功预测了 114,210 种成分条件下的 913,680 个物性数据点。我们提出了一个分析高维信息空间以进行反向材料设计的框架，并展示了足够的数据可实现的材料类型和规模的灵活性和适应性。这项研究推动了未来对不同材料和更复杂模型的研究，并将我们更接近预测所有材料的所有属性的终极目标。

    Mar, 2023

  • 化学语言与分子图在多模态融合深度学习中的整合，用于药物性质预测

    准确预测分子性质是药物发现中的一个具有挑战性但必不可少的任务。最近，多模态深度学习方法成功应用于分子性质预测，以克服传统单模态学习方法的局限性并提升模型在准确性、可靠性和抗噪性方面的表现。

    Dec, 2023

  • 关于多模态与单模态机器学习之间更强的计算分离

    多模式机器学习与单模式学习的理论模型、计算分离以及平均情况的计算分离是本篇论文的主要研究内容。

    Apr, 2024

  • 科学图像解读的多模态深度学习

    该研究提出了一种新的方法，通过多模态深度学习框架从文本和视觉数据中提取洞察力，以模拟和评估人类对扫描电子显微镜 (SEM) 图像（特别是玻璃材料）的交互。我们的模型（GlassLLaVA）在解释、特征识别和检测以前未见的 SEM 图像中的缺陷方面表现出色，为科学成像应用引入了多用途的评估指标，进一步缩小人与机器解释在科学成像中的差距，为未来研究和广泛应用提供了广阔的可能性。

    Sep, 2023

  • 通过数据融合学习材料的结构 - 性能关系：贝叶斯共区相关 N 维分段函数学习

    应用贝叶斯算法的 SAGE 算法通过多模态核主成分分析将来自不同数据源的知识合并，学习合成 - 结构 - 性能关系，从而克服高维复杂材料搜索空间和知识融合的挑战。

    Nov, 2023

  • 高效材料科学模拟的代理模型：基于机器学习预测微观组织性质

    通过研究两个不同数据集中的六种机器学习技术在材料科学领域的应用，本文分析了这些模型的准确性和稳健性，并阐明了它们性能差异的原因。研究还考察了包含领域知识的影响以及基于训练数据可用性和质量的一般建议。

    Sep, 2023

  • 双双模态融合的相关性控制多模态情感分析

    该研究提出了一个新的端到端的网络，使用双模态配对表示执行融合和分离，并利用带有门控机制的 Transformer 架构进一步提高了最终输出，在 CMU-MOSI、CMU-MOSEI 和 UR-FUNNY 三个数据集上的实验结果验证了该模型明显优于 SOTA。

    Jul, 2021

  • 用多模态对比学习从自然语言中提取分子性质

    将自然语言和图形表示相结合，通过对齐神经图形表示和特性文本描述的表示，提高了下游分子属性分类任务的性能，实现了与仅以图形方式进行预训练的模型相比的 + 4.26% AUROC 的增益，并相对于最近提出的分子图 / 文本对比训练的 MoMu 模型 (Su et al. 2022) 的 + 1.54% 增益。

    Jul, 2023