我们开发了 MatGD（材料图形数字化工具），该工具用于从科学图形中提取数据线。该工具的算法包括四个步骤：（1）识别子图中的图形，（2）分离轴和数据部分，（3）通过消除不相关的图形对象并与图例进行匹配来识别数据线，（4）数据提取和保存。通过对于 62,534 篇关于电池、催化和 MOFs 领域的论文进行研究，我们挖掘了 501,045 个图。令人惊讶的是，我们的工具在图例标记和文本检测方面的准确率超过 99%。此外，与其他现有的图形挖掘工具相比，它的数据线分离能力为 66%，大大高于其他工具。我们相信这个工具将成为从出版物中收集过去和未来数据的重要工具，并且这些数据可以用来训练各种可以增强材料预测和新材料发现的机器学习模型。

Sep, 2023

本文介绍了一种新的制图注释数据集 LineCap，还探讨了使用端到端的深度学习模型进行自动图注的相关应用和难点。

Jul, 2022

该研究介绍了一种完全自动化的系统，利用深度学习技术识别散点图中的关键组成部分，并利用光学字符识别和鲁棒回归从图像中提取散点数值，该方法可以成功从 89% 的测试数据中提取数据。

Apr, 2017

从文本生成位图图形已经引起了相当大的关注，然而对于科学图形来说，通常更喜欢矢量图形。为了解决这个问题，我们提出了使用 TikZ 作为科学图形的中间表示，TikZ 是一种可以编译成矢量图形的广为人知的抽象图形语言。我们引入了 DaTikZ，这是一个由 120k 个 TikZ 图形与标题对齐组成的大规模数据集。我们在 DaTikZ 上微调了 LLaMA，以及我们的新模型 CLiMA，并通过多模态的 CLIP 嵌入来增强 LLaMA。在人工和自动评估中，CLiMA 和 LLaMA 在与人类创建的图形的相似性方面优于商业的 GPT-4 和 Claude 2，而 CLiMA 还改进了文本与图像的对齐。我们对各个模型进行了详细的分析，结果显示所有模型都具有良好的泛化性，不易受记忆化的影响。然而，GPT-4 和 Claude 2 生成的图形往往比人类和我们的模型更简单。我们将我们的框架 AutomaTikZ 以及模型权重和数据集公开提供。

Sep, 2023

本文提出了一种基于实例分割的数据线提取方法（LineFormer），在多个基准数据集上取得了最优性能，是提高自动文档理解中数据抽取的关键技术之一。

May, 2023

该研究利用生成模型建立向量图形的连续生成模型，从而刻画字体绘制过程，提供了一种可操作的样式传播方法，有望成为平面设计师进行字体设计的工具。

Apr, 2019

本文提出了一种高效的 few-shot 学习框架，通过在公开数据集 DIVA-HisDB 上的试验，表明该框架的性能可与当前最先进的完全监督方法媲美，有效地解决了在古代手写文献分析中像素精确的文本标注是一项耗时的过程，而这种信息在现实世界中很少可用的问题。

Oct, 2022

在图形设计领域，自动化地将设计元素整合为一个连贯的多层艺术作品不仅提高了工作效率，还为图形设计的大众化铺平了道路。本文介绍了一种称为 Hierarchical Layout Generation (HLG) 的更灵活和实用的设置，它从无序的设计元素集合中创建图形构图。通过基于大型多模态模型的图形生成模型 Graphist，我们有效地将 HLG 作为一个序列生成问题来解决，并利用 RGB-A 图像作为输入，输出一个 JSON 草稿协议，指示每个元素的坐标、大小和顺序。我们开发了新的 HLG 评估指标，Graphist 在性能上超过了以往的技术，为该领域奠定了坚实的基础。项目主页：[此处为项目主页的链接]

Apr, 2024

通过在较大的公共数据集上评估各个子任务的方法，该论文描述了一种模块化的端到端解决方案，其中包括电气符号和文本的对象检测、二值分割、手写字符识别和方向回归，进而提供了电路图的自动化提取方法。

Feb, 2024

本文介绍了一种通过大规模科学文档数据集训练，实现无人干预的科学图表自动提取的方法，并获得了高精度模型以及数据集，成功用于 13 百万学术文献的提取。

Apr, 2018