Aug, 2023

Matbench Discovery - 机器学习晶体稳定性预测的评估框架

TL;DRMatbench Discovery 通过部署机器学习(ML)能源模型在高通量搜索稳定无机晶体中模拟。我们解决了(i)热力学稳定性与形成能之间的脱节和(ii)域内与域外的性能之间的差异问题。通过本文和我们的 Python 包以及在线排行榜,我们探索了各个性能指标之间的权衡,回答了在材料发现方面哪种 ML 方法表现最佳的问题。我们发现在热力学稳定性预测的测试集 F1 得分中,CHGNet > M3GNet > MACE > ALIGNN > MEGNet > CGCNN > CGCNN+P > Wrenformer > BOWSR > Voronoi tessellation fingerprints with random forest。前三个模型是 UIPs,是 ML 引导材料发现的获胜方法,其晶体稳定性分类的 F1 得分达到了约 0.6,并且在与我们的测试集的前 10000 个最稳定预测的虚拟选择相比,发现加速因子(DAF)最高可达 5 倍。我们还强调了常用的全局回归指标与更具任务相关性的分类指标之间的明显差异。准确的回归器如果那些准确的预测接近 0 eV / 原子的凸包上的决策边界,那么它们就容易出现意外高的假阳性率,而大多数材料都是接近该边界的。我们的结果突显了需要关注与提高稳定性命中率实际相关的分类指标。