本文提出了一种基于编码器 - 解码器网络的数学公式识别方法,在网络中加入语法规则,将标记序列预测建模为树遍历过程,从而有效描述表达式的语法上下文,减轻了数学公式识别中的结构预测误差。实验结果表明,我们的方法在三个基准数据集上均取得了比现有方法更好的识别性能。同时,我们还创建了一个包含 10 万个手写数学表达式图像的大规模数据集,其源代码、新数据集和预训练模型也将公开。
Mar, 2022
手写数学表达式识别的挑战在于应用于教育,本文提出了一种新的数据集和解决方案,能够识别竖直形式的初等数学表达式,并对目标检测算法和表达式识别率进行了评估。
Aug, 2023
使用基于注意力机制的编码器 - 解码器模型和多尺度注意力模型,结合密集连接卷积网络来处理手写数学表达式识别并在 CROHME 竞赛任务中取得了显著结果,只使用了官方训练数据集。
Jan, 2018
该论文提出了一种名为计数感知网络(CAN)的非传统网络结构,通过联合优化手写数学表达式识别(HMER)和符号计数两个任务,可以更精确地读取具有复杂结构或生成较长标记序列的数学公式图像。
Jul, 2022
手写数学表达式识别中的注意力引导机制能够改进关注机制,以解决过度解析和不足解析的问题,从而提高表达式识别的准确率。
Mar, 2024
手写数学表达式识别中的语义交互学习方法通过构建基于统计符号共现概率的语义图,设计语义感知模块,优化 HMER 和 SIL 来提高模型对符号关系的理解,并在基准数据集上展示了较好的识别性能。
本文提出一种高性能的手写数学表达式识别模型,采用比例增强和 drop attention 技术解决了二维结构数学表达式识别中尺度不稳定的问题,并使用基于注意力机制的编码器 - 解码器网络从中提取特征并生成预测结果。我们的方法在 CROHME 2014 和 CROHME 2016 两个公共数据集上取得了最先进的性能。
Jul, 2020
本文提出了利用 CROHME 数据库的在线手写数学表达式,通过局部和全局扭曲以及分解策略以生成形状和结构变化,使用深度学习模型, 结合卷积神经网络和基于注意力机制的编码器 - 解码器结构进行端到端的在线手写数学表达式识别,取得了具有竞争力的结果,并且产生的数据集已公开。
Jan, 2019
本研究提出了一种新颖的编码器解码器结构(DenseBAM-GI)来识别手写数学表达式。该模型具有 Bottleneck Attention Module(BAM)以提高特征表示和带有额外门的 Gated Input-GRU(GI-GRU)单元的解码器,可轻松解码长且复杂的表达式。在 CROHME 2014、2016 和 2019 数据集上,DenseBAM-GI 取得了最佳 expression recognition rate,而且模型复杂度低且减少了 GPU 内存的需求。
Jun, 2023
使用 transformer-based decoder 替换 RNN-based models,提出一种新的训练策略并采用数据增广方法,实验结果表明此模型提高了 CROHME 2014 数据集的 ExpRate 达到 2.23%,CROHME 2016 与 CROHME 2019 也分别提高了 1.92% 和 2.28%。
May, 2021