NAMER:手写数学表达识别的非自回归建模
本文提出一种高性能的手写数学表达式识别模型,采用比例增强和drop attention技术解决了二维结构数学表达式识别中尺度不稳定的问题,并使用基于注意力机制的编码器-解码器网络从中提取特征并生成预测结果。我们的方法在CROHME 2014和CROHME 2016两个公共数据集上取得了最先进的性能。
Jul, 2020
使用transformer-based decoder替换RNN-based models,提出一种新的训练策略并采用数据增广方法,实验结果表明此模型提高了CROHME 2014数据集的ExpRate达到2.23%,CROHME 2016与 CROHME 2019也分别提高了1.92%和2.28%。
May, 2021
本文提出了一种基于编码器-解码器网络的数学公式识别方法,在网络中加入语法规则,将标记序列预测建模为树遍历过程,从而有效描述表达式的语法上下文,减轻了数学公式识别中的结构预测误差。实验结果表明,我们的方法在三个基准数据集上均取得了比现有方法更好的识别性能。同时,我们还创建了一个包含10万个手写数学表达式图像的大规模数据集,其源代码、新数据集和预训练模型也将公开。
Mar, 2022
该论文提出了一种名为计数感知网络(CAN)的非传统网络结构,通过联合优化手写数学表达式识别(HMER)和符号计数两个任务,可以更精确地读取具有复杂结构或生成较长标记序列的数学公式图像。
Jul, 2022
手写数学表达式识别中的语义交互学习方法通过构建基于统计符号共现概率的语义图,设计语义感知模块,优化 HMER 和 SIL 来提高模型对符号关系的理解,并在基准数据集上展示了较好的识别性能。
Aug, 2023
手写数学表达式识别的关键问题是如何有效利用双向上下文信息,本文提出了Mirror-Flipped Symbol Layout Tree和Bidirectional Asynchronous Training结构,扩展了双向训练策略到树解码器,以更有效地训练与利用双向信息,同时介绍了Shared Language Modeling机制来提高模型的鲁棒性和泛化能力。通过广泛实验证明了该方法在CROHME 2014、2016、2019和HME100K数据集上取得了最新的最优结果。
Dec, 2023
我们提出了一种数据为中心的方法来克服印刷数学表达式识别中的问题,并呈现了令人信服的实验结果:我们的主要贡献是增强LaTeX规范化以将任何LaTeX数学表达式映射到一个规范形式。基于这个过程,我们开发了一个改进版的基准数据集im2latex-100k,包含30种字体而不是一种。其次,我们引入了实际论文中提取的数学表达式数据集realFormula。第三,我们开发了一个基于卷积视觉变换器的数学表达式识别模型MathNet,在所有四个测试集(im2latex-100k,im2latexv2,realFormula和InftyMDB-1)上表现出优越的结果,比之前的最先进技术高出高达88.3%。
Apr, 2024
手写数学表达式识别中,我们提出了一种位置森林变压器(PosFormer)来通过显式地进行位置感知符号特征表征学习,同时优化了表达式识别和位置识别两个任务。在多个数据集上进行的广泛实验验证了PosFormer的优越性能。
Jul, 2024
本研究解决了手写数学表达式识别中,现有序列解码方法未能有效理解 $\LaTeX$ 的树结构及确保语法正确性的问题。提出的TAMER模型通过引入树结构感知模块,实现序列预测和树结构预测的优化结合,从而提升了对复杂数学表达式结构的理解与泛化能力。实验证明,TAMER在处理复杂数学结构时表现优于传统方法,达到了最先进的性能。
Aug, 2024