Apr, 2024

MathNet：基于数据的印刷数学表达式识别方法

PDF
TL;DR我们提出了一种数据为中心的方法来克服印刷数学表达式识别中的问题，并呈现了令人信服的实验结果：我们的主要贡献是增强 LaTeX 规范化以将任何 LaTeX 数学表达式映射到一个规范形式。基于这个过程，我们开发了一个改进版的基准数据集 im2latex-100k，包含 30 种字体而不是一种。其次，我们引入了实际论文中提取的数学表达式数据集 realFormula。第三，我们开发了一个基于卷积视觉变换器的数学表达式识别模型 MathNet，在所有四个测试集（im2latex-100k，im2latexv2，realFormula 和 InftyMDB-1）上表现出优越的结果，比之前的最先进技术高出高达 88.3%。
printed mathematical expression recognitionlatex-generated mathematical expressionsenhanced latex normalizationbenchmark dataset im2latex-100kconvolutional vision transformer
发现论文，激发创造
  • UniMERNet: 一个用于现实世界数学表达式识别的通用网络

    该研究提供了 UniMER 数据集，对复杂的实际场景中的数学表达式识别进行了首次研究。UniMER 数据集由大规模训练集 UniMER-1M 和精心设计的测试集 UniMER-Test 组成，使得能够训练出鲁棒和高准确性的数学表达式识别模型并全面评估其性能。此外，研究还介绍了 Universal Mathematical Expression Recognition Network (UniMERNet) 的创新框架，以提升实际场景下的数学表达式识别。经过广泛实验验证，UniMERNet 在各种场景中表现优于现有的模型，为真实世界应用提供了卓越的识别质量。

    Apr, 2024

  • 手写数学表达式识别的语法感知网络

    本文提出了一种基于编码器 - 解码器网络的数学公式识别方法，在网络中加入语法规则，将标记序列预测建模为树遍历过程，从而有效描述表达式的语法上下文，减轻了数学公式识别中的结构预测误差。实验结果表明，我们的方法在三个基准数据集上均取得了比现有方法更好的识别性能。同时，我们还创建了一个包含 10 万个手写数学表达式图像的大规模数据集，其源代码、新数据集和预训练模型也将公开。

    Mar, 2022

  • 双向训练 Transformer 的手写数学表达式识别

    使用 transformer-based decoder 替换 RNN-based models，提出一种新的训练策略并采用数据增广方法，实验结果表明此模型提高了 CROHME 2014 数据集的 ExpRate 达到 2.23%，CROHME 2016 与 CROHME 2019 也分别提高了 1.92% 和 2.28%。

    May, 2021

  • MathWriting: 数学手写表达识别数据集

    介绍了 MathWriting 数据集，它是迄今为止最大的在线手写数学表达式数据集，包含 23 万人工书写样本和 40 万个合成样本。MathWriting 还可用于离线 HME 识别，并且比所有现有的离线 HME 数据集（如 IM2LATEX-100K）都要大。为了推进在线和离线 HME 识别的研究，引入了基于 MathWriting 数据的基准测试。

    Apr, 2024

  • 手写数学表达式识别的多尺度注意力与密集编码器

    使用基于注意力机制的编码器 - 解码器模型和多尺度注意力模型，结合密集连接卷积网络来处理手写数学表达式识别并在 CROHME 竞赛任务中取得了显著结果，只使用了官方训练数据集。

    Jan, 2018

  • ConvMath：一种卷积式序列网络用于数学表达式识别

    本文提出一种称为 ConvMath 的卷积序列建模网络，可将图像中的数学表达式描述转换为 LaTeX 序列，并通过多层注意机制和卷积解码器来提高模型的准确性和效率。在 IM2LATEX-100K 数据集上的实验结果表明，该网络实现了最先进的准确度和比以前方法更好的效率。

    Dec, 2020

  • 使用数学数据集衡量数学问题解决能力

    介绍了一种新的 MATH 数据集，其中包含 12500 个具有挑战性的竞赛数学问题，每个问题都有全面的解决方案，可以用于教模型生成答案推导和解释。尽管研究者不断增加 Transformer 模型的预算和参数总数，但在 MATH 的准确性仍然相对较低，因此未来的研究可能需要更广泛的算法进步。

    Mar, 2021

  • 手写数学表达式识别的智能检测网络

    我们提出的智能检测网络在手写数学公式识别中利用物体检测技术，与传统编码器 - 解码器方法不同，能够精确检测符号和数字，优于其他网络在识别复杂手写数学表达式方面，对 HMER 领域具有潜在的宝贵贡献。

    Nov, 2023

  • 改善手写数学表达式识别的模式生成策略

    本文提出了利用 CROHME 数据库的在线手写数学表达式，通过局部和全局扭曲以及分解策略以生成形状和结构变化，使用深度学习模型， 结合卷积神经网络和基于注意力机制的编码器 - 解码器结构进行端到端的在线手写数学表达式识别，取得了具有竞争力的结果，并且产生的数据集已公开。

    Jan, 2019

  • 数学公式的神经机器翻译

    本论文的主要研究方向是解决神经机器翻译数学公式的问题，特别是涉及到模糊表示语言和明确内容语言之间的翻译，论文采用卷积序列到序列网络来翻译 LaTeX 和 Mathematica，达到了 95.1% 和 90.7% 的准确匹配。

    May, 2023