Dec, 2023

双支网络实现准确的印刷数学表达识别

PDF
TL;DR本文介绍了一种基于双分支变压器网络的可打印数学表达式识别（PMER）方法，通过学习局部和全局上下文信息来解决卷积神经网络无法捕捉到所有数学符号的问题。实验结果表明，该方法在数学表达式识别方面具有准确性且达到了最先进的性能。
printed mathematical expression recognitionconvolutional neural networksdual branch transformer-based networkcontext coupling moduledynamic soft target
发现论文，激发创造
  • 手写数学表达式识别的智能检测网络

    我们提出的智能检测网络在手写数学公式识别中利用物体检测技术，与传统编码器 - 解码器方法不同，能够精确检测符号和数字，优于其他网络在识别复杂手写数学表达式方面，对 HMER 领域具有潜在的宝贵贡献。

    Nov, 2023

  • 手写数学表达式识别的语法感知网络

    本文提出了一种基于编码器 - 解码器网络的数学公式识别方法，在网络中加入语法规则，将标记序列预测建模为树遍历过程，从而有效描述表达式的语法上下文，减轻了数学公式识别中的结构预测误差。实验结果表明，我们的方法在三个基准数据集上均取得了比现有方法更好的识别性能。同时，我们还创建了一个包含 10 万个手写数学表达式图像的大规模数据集，其源代码、新数据集和预训练模型也将公开。

    Mar, 2022

  • UniMERNet: 一个用于现实世界数学表达式识别的通用网络

    该研究提供了 UniMER 数据集，对复杂的实际场景中的数学表达式识别进行了首次研究。UniMER 数据集由大规模训练集 UniMER-1M 和精心设计的测试集 UniMER-Test 组成，使得能够训练出鲁棒和高准确性的数学表达式识别模型并全面评估其性能。此外，研究还介绍了 Universal Mathematical Expression Recognition Network (UniMERNet) 的创新框架，以提升实际场景下的数学表达式识别。经过广泛实验验证，UniMERNet 在各种场景中表现优于现有的模型，为真实世界应用提供了卓越的识别质量。

    Apr, 2024

  • 双向训练树形解码器用于手写数学表达式识别

    手写数学表达式识别的关键问题是如何有效利用双向上下文信息，本文提出了 Mirror-Flipped Symbol Layout Tree 和 Bidirectional Asynchronous Training 结构，扩展了双向训练策略到树解码器，以更有效地训练与利用双向信息，同时介绍了 Shared Language Modeling 机制来提高模型的鲁棒性和泛化能力。通过广泛实验证明了该方法在 CROHME 2014、2016、2019 和 HME100K 数据集上取得了最新的最优结果。

    Dec, 2023

  • 多深度分支网络用于高效图像超分辨率

    通过引入多深度分支网络（MDBN），本文提出了一种新的超分辨率方法，该方法可以更好地提取和保留高频细节同时降低计算代价。

    Sep, 2023

  • MathNet：基于数据的印刷数学表达式识别方法

    我们提出了一种数据为中心的方法来克服印刷数学表达式识别中的问题，并呈现了令人信服的实验结果：我们的主要贡献是增强 LaTeX 规范化以将任何 LaTeX 数学表达式映射到一个规范形式。基于这个过程，我们开发了一个改进版的基准数据集 im2latex-100k，包含 30 种字体而不是一种。其次，我们引入了实际论文中提取的数学表达式数据集 realFormula。第三，我们开发了一个基于卷积视觉变换器的数学表达式识别模型 MathNet，在所有四个测试集（im2latex-100k，im2latexv2，realFormula 和 InftyMDB-1）上表现出优越的结果，比之前的最先进技术高出高达 88.3%。

    Apr, 2024

  • CoMER: 基于 Transformer 的手写数学表达式识别覆盖建模

    本文提出了使用注意力精细模块的覆盖信息 Transformer 模型（CoMER），用于识别手写数学表达式，实验显示 CoMER 相对于当前最先进的模型提高了 0.61%/2.09%/1.59% 的表达式识别率，并在 CROHME2014/2016/2019 测试集上达到了 59.33%/59.81%/62.97%。

    Jul, 2022

  • 点云分析的双变换器

    本文提出了一种新颖的点云表示学习架构，称为 Dual Transformer Network (DTNet)，该架构主要包括一个 Dual Point Cloud Transformer (DPCT) 模块，该模块通过同时聚合点和通道的多头注意力机制，从位置和通道的语义角度捕获更丰富的上下文依赖性，有效地实现了三维点云分类和分割任务中的终端到终端分析。

    Apr, 2021

  • DBDH: 一种用于隐形嵌入区域定位的双支路双头神经网络

    本文提出了一种基于 Dual-Branch Dual-Head（DBDH）神经网络的不可见嵌入区域精确定位技术，利用低级纹理分支和高级上下文分支来捕捉高频信号以及提取嵌入和正常区域的区分特征，通过检测头直接检测嵌入区域的四个顶点，并引入额外的分割头用于训练期间提供像素级别监督，以提高模型对嵌入信号的学习能力。实验结果表明，所提出的 DBDH 方法优于现有方法。

    May, 2024

  • HDBN：用于鲁棒的基于骨架的动作识别的新型混合双分支网络

    通过提出一种名为混合双分支网络（HDBN）的模型，利用图卷积网络和 Transformer 分别对二维和三维骨架模态进行建模，该研究在多模态视频推理和分析竞赛中获得了较高准确率，并超过了现有方法，取得了 47.95% 和 75.36% 的准确率。

    Apr, 2024