Sep, 2023

材料图形数字化

PDF
TL;DR我们开发了 MatGD（材料图形数字化工具），该工具用于从科学图形中提取数据线。该工具的算法包括四个步骤：（1）识别子图中的图形，（2）分离轴和数据部分，（3）通过消除不相关的图形对象并与图例进行匹配来识别数据线，（4）数据提取和保存。通过对于 62,534 篇关于电池、催化和 MOFs 领域的论文进行研究，我们挖掘了 501,045 个图。令人惊讶的是，我们的工具在图例标记和文本检测方面的准确率超过 99%。此外，与其他现有的图形挖掘工具相比，它的数据线分离能力为 66%，大大高于其他工具。我们相信这个工具将成为从出版物中收集过去和未来数据的重要工具，并且这些数据可以用来训练各种可以增强材料预测和新材料发现的机器学习模型。
matgdscientific graphsdata extractionlegend markerfigure mining
发现论文，激发创造
  • 线条图形数字化：迈向完全自动化的一步

    本文提出了一个细粒度数学图形的视觉理解任务，提供了 Line Graphics 数据集并测试了七种不同的计算机视觉模型来支持此任务，可应用于语义分割和对象检测。

    Jul, 2023

  • ChemScraper: PDF 图像的图像提取，分子图解析和带注释数据生成

    从 born-digital PDF 分子图像中提取符号并应用简单图形转换，以编辑 ChemDraw 文件（CDXML），其直接位置和形状信息使得该方法具有高准确性的解析能力，以生成训练数据用于识别栅格图像中的化学结构的视觉解析器。

    Nov, 2023

  • Scatteract：散点图数据自动提取

    该研究介绍了一种完全自动化的系统，利用深度学习技术识别散点图中的关键组成部分，并利用光学字符识别和鲁棒回归从图像中提取散点数值，该方法可以成功从 89% 的测试数据中提取数据。

    Apr, 2017

  • 手写电路图像的模块化图形提取

    通过在较大的公共数据集上评估各个子任务的方法，该论文描述了一种模块化的端到端解决方案，其中包括电气符号和文本的对象检测、二值分割、手写字符识别和方向回归，进而提供了电路图的自动化提取方法。

    Feb, 2024

  • MolGrapher 化学结构的基于图的可视化识别

    该研究提出了 MolGrapher 方法，通过视觉识别化学结构，构建分子的自然图形表示，并利用图神经网络分类分子中的原子和键节点。实验证明该方法在大多数情况下明显优于传统和基于学习的方法，可用于加快新材料和药物的发现。

    Aug, 2023

  • 数据可视化字幕生成模型的线状图示

    本文介绍了一种新的制图注释数据集 LineCap，还探讨了使用端到端的深度学习模型进行自动图注的相关应用和难点。

    Jul, 2022

  • 自动化文本导向的科学矢量图合成与 TikZ

    从文本生成位图图形已经引起了相当大的关注，然而对于科学图形来说，通常更喜欢矢量图形。为了解决这个问题，我们提出了使用 TikZ 作为科学图形的中间表示，TikZ 是一种可以编译成矢量图形的广为人知的抽象图形语言。我们引入了 DaTikZ，这是一个由 120k 个 TikZ 图形与标题对齐组成的大规模数据集。我们在 DaTikZ 上微调了 LLaMA，以及我们的新模型 CLiMA，并通过多模态的 CLIP 嵌入来增强 LLaMA。在人工和自动评估中，CLiMA 和 LLaMA 在与人类创建的图形的相似性方面优于商业的 GPT-4 和 Claude 2，而 CLiMA 还改进了文本与图像的对齐。我们对各个模型进行了详细的分析，结果显示所有模型都具有良好的泛化性，不易受记忆化的影响。然而，GPT-4 和 Claude 2 生成的图形往往比人类和我们的模型更简单。我们将我们的框架 AutomaTikZ 以及模型权重和数据集公开提供。

    Sep, 2023

  • 开放式 MatSci ML 工具包：材料科学机器学习的灵活框架

    介绍了 Open MatSci ML 工具包，即可扩展、自包容能力强，并使用 Python 框架基于深度学习模型和方法对科学数据进行处理，特别关注材料科学和 OpenCatalyst 数据集，展示了这一工具包为新机器学习研究人员和 OpenCatalyst 数据集应用高级机器学习工具等科学挑战提供了无缝的解决方案，并为某些材料的行为提供了建模。

    Oct, 2022

  • FigGen: 文字转科学图形生成

    本文提出了一个新的问题：文本描述下的科学图形生成，为此介绍了一个基于扩散的方法 FigGen，并探讨了该任务面临的主要挑战。

    Jun, 2023

  • GenPlot: 扩大图表反渲染数据的规模和多样性

    本文提出 GenPlot，一个可以使用合成数据生成数十亿个绘图以用于图表解读的情境下的预训练的图表生成器。

    Jun, 2023