Aug, 2023

关于预训练在分子性质预测中的数据不平衡问题

PDF
TL;DR本研究提出了一种有效的预训练方法，用于改善分子性质预测模型的预训练和最终预测准确性，并通过实验和评估使用分子性质预测模型的基准来调查和评估我们提出的不平衡补偿的影响。
materialstheoretical calculationsmachine learningpre-trainingmolecular property prediction
发现论文，激发创造
  • 自监督预训练对分子性质预测中的外推有效吗？

    利用自我监督预训练技术可以提高材料特性的外推性能，使模型能够学习未观察特性值的相对趋势并改善外推性能。

    Aug, 2023

  • 使用反应预测预训练变形金刚进行分子属性预测

    本文旨在使用反应数据进行预训练分子表示的过程，运用在 MoleculeNet 的 12 个分子属性预测任务上，结果显著地提高了预测模型的表现。

    Jul, 2022

  • 从小数据集进行分子属性预测的迁移学习

    通过使用小样本数据集进行基于机器学习方法的分子属性预测，研究发现使用消息传递神经网络（PaiNN）以及 SOAP 分子描述符与梯度提升回归树方法相结合的简单分子描述符能够获得最佳预测结果。进一步提出了一种使用大样本数据进行预训练，并在原始数据集进行微调的迁移学习策略，以获取更准确的模型。该策略在 Harvard Oxford Photovoltaics 数据集（HOPV，HOMO-LUMO 间隙）获得了出色结果，在 Freesolv 数据集（溶剂化能）上由于复杂的学习任务和用于预训练和微调标签的不同方法而不成功。研究还发现，预训练数据集的大小与最终训练结果并非单调改善的关系，更少的预训练数据点可能导致预训练模型的偏置更高，从而在微调后获得更高的准确性。

    Apr, 2024

  • 分子性质预测的去噪预训练

    该论文描述了一种基于去噪自编码的预训练技术，通过利用大量的 3D 分子结构数据学习下游任务的有意义的表示，从而实现分子属性预测的最新技术；实验证明，使用这种预训练目标显著提高了多个基准测试的性能，在广泛使用的 QM9 数据集中取得了新的最新技术成果。

    May, 2022

  • 水晶材料属性预测的晶体特定预训练框架

    提出了一种针对晶体结构学习具有自我监督的预训练框架，通过互斥掩码策略和周期不变多图模块来解决晶体结构学习中标签不足和周期不变问题，并在 8 个不同的任务上进行了测试，结果表明该框架具有良好的预测性能。

    Jun, 2023

  • 分子属性预测的自动化三维预训练

    本文提出了一个名为 3D PGT 的新颖框架，它可以在无法获得几何结构的实际应用情况下，以 2D 结构为输入预测分子属性，实验证明与各种预训练基线相比，其具有更高的准确性，效率和泛化能力。

    Jun, 2023

  • 分子性质预测的 Transformer 方法：过去五年的经验教训

    使用变压器模型进行分子属性预测的当前研究进行了分析，强调了尚未涵盖的领域，并提出进行标准化数据划分和稳健统计分析的挑战。

    Apr, 2024

  • 高效材料科学模拟的代理模型：基于机器学习预测微观组织性质

    通过研究两个不同数据集中的六种机器学习技术在材料科学领域的应用，本文分析了这些模型的准确性和稳健性，并阐明了它们性能差异的原因。研究还考察了包含领域知识的影响以及基于训练数据可用性和质量的一般建议。

    Sep, 2023

  • 平衡分子信息与实证数据在物理 - 化学性质预测中的应用

    利用分子描述符和表示学习相结合的方法，通过结合概率机器学习文献中的期望最大化算法，自动检测并纠正基于结构的预测不可靠的情况，从而显著提高了对二元混合物中活度系数的预测准确性，展示了在物理化学性质预测中的潜力。

    Jun, 2024

  • 基于量子力学数据的原子水平预训练对图神经网络分子性质模型的分析

    通过原子级量子力学预训练数据，本研究探讨了如何改善深度学习在定量构效关系模型中的性能与广义性，以解决新颖化合物的现实情景下训练与测试数据的分布不一致问题，并显示了在公共数据集 TDC 上，原子级量子力学预训练可以改善性能，使特征激活更加符合高斯分布，从而得到更稳健的表示。据我们所知，这是首次分析隐藏状态分子表示以比较分子级与原子级预训练对量子力学数据的影响。

    May, 2024