May, 2024

ICAL：提升手写数学表达式识别的隐式字符辅助学习

PDF
TL;DR该论文介绍了一种新颖的方法，隐式字符辅助学习 (ICAL)，用于挖掘全局表达信息并提高手写数学表达式识别，通过建模和利用隐式字符信息，ICAL 实现了更准确和上下文感知的手写数学表达式解释。实验结果表明，ICAL 明显超越了最先进的模型，在 CROHME 2014/2016/2019 数据集上将表达式识别率 (ExpRate) 分别提高了 2.21%/1.75%/1.28%，在具有挑战性的 HME100k 测试集上达到 69.25%。我们的代码可在 GitHub 上获取：(此处插入 GitHub 链接)
handwritten mathematical expression recognitionimplicit character-aided learning (ical)implicit character construction module (iccm)fusion modulecontext-aware interpretation
发现论文，激发创造
  • 手写数学表达式识别的语法感知网络

    本文提出了一种基于编码器 - 解码器网络的数学公式识别方法，在网络中加入语法规则，将标记序列预测建模为树遍历过程，从而有效描述表达式的语法上下文，减轻了数学公式识别中的结构预测误差。实验结果表明，我们的方法在三个基准数据集上均取得了比现有方法更好的识别性能。同时，我们还创建了一个包含 10 万个手写数学表达式图像的大规模数据集，其源代码、新数据集和预训练模型也将公开。

    Mar, 2022

  • 手写数学表达式识别的多尺度注意力与密集编码器

    使用基于注意力机制的编码器 - 解码器模型和多尺度注意力模型，结合密集连接卷积网络来处理手写数学表达式识别并在 CROHME 竞赛任务中取得了显著结果，只使用了官方训练数据集。

    Jan, 2018

  • 手写数学表达式识别的智能检测网络

    我们提出的智能检测网络在手写数学公式识别中利用物体检测技术，与传统编码器 - 解码器方法不同，能够精确检测符号和数字，优于其他网络在识别复杂手写数学表达式方面，对 HMER 领域具有潜在的宝贵贡献。

    Nov, 2023

  • 基于注意力聚合的双向互相学习手写数学表达式识别

    该论文提出了一种基于双向情况下的 Attention 汇聚的互相学习网络，该网络包括一个共享编码器和两个并行解码器（逆序解码器和正序解码器），并通过互相蒸馏实现增强，同时提出了一种 Attention 汇聚模块，以有效地整合多尺度关注力，从而在手写数学表达式识别中具有更好的识别精度。

    Dec, 2021

  • ConvMath：一种卷积式序列网络用于数学表达式识别

    本文提出一种称为 ConvMath 的卷积序列建模网络，可将图像中的数学表达式描述转换为 LaTeX 序列，并通过多层注意机制和卷积解码器来提高模型的准确性和效率。在 IM2LATEX-100K 数据集上的实验结果表明，该网络实现了最先进的准确度和比以前方法更好的效率。

    Dec, 2020

  • 手写数学表达式识别的语义图表示学习

    手写数学表达式识别中的语义交互学习方法通过构建基于统计符号共现概率的语义图，设计语义感知模块，优化 HMER 和 SIL 来提高模型对符号关系的理解，并在基准数据集上展示了较好的识别性能。

    Aug, 2023

  • 双向训练 Transformer 的手写数学表达式识别

    使用 transformer-based decoder 替换 RNN-based models，提出一种新的训练策略并采用数据增广方法，实验结果表明此模型提高了 CROHME 2014 数据集的 ExpRate 达到 2.23%，CROHME 2016 与 CROHME 2019 也分别提高了 1.92% 和 2.28%。

    May, 2021

  • 上下文语言学习：结构和算法

    通过研究在背景语境中的大规模神经语言模型对正则语言的学习，我们展示了 Transformers 相对于递归或卷积模型在 in-context 语言学习任务上的显著优势，并提出硬连接高阶归纳头到递归和卷积模型可改善这个任务和自然语言建模的性能。

    Jan, 2024

  • ICAL: 将轨迹转化为可行动洞见的多模态智能体的持续学习

    我们提出了一种名为 In-Context Abstraction Learning（ICAL）的方法，通过从次优演示和人类反馈中构建多模态体验洞察记忆，将 VLMs 将轨迹抽象为一个通用程序，显著提高了检索增强的 LLM 和 VLM 代理的决策能力。

    Jun, 2024

  • 一种解决几何问题的符号字符感知模型

    通过开发一个符号字符感知模型，该研究旨在完全探索符号字符在文本和图解理解中的角色，并在多模态推理框架下优化模型。该模型在解决几何问题的通用编码器 - 解码器流水线中得到整合，经过大量实验，在两个基准数据集（GeoQA 和 Geometry3K）上展现了卓越性能，极大提高了问题解答的准确率和步骤效率。

    Aug, 2023