May, 2023

FormNetV2：面向表单文件信息提取的多模态图形对比学习

HTML
PDF
TL;DRFormNetV2引入了一种集中的多模态图形对比学习策略，将自监督预训练统一为一个损失，通过提取与图形边缘相连的一对令牌之间的边界框内的图像特征，捕捉更有针对性的视觉线索，从而在FUNSD、CORD、SROIE和Payment基准测试上建立新的最先进性能。
发现论文，激发创造
  • LayoutLMv2: 多模态预训练用于视觉丰富的文档理解

    LayoutLMv2提出了一种新的预训练架构，通过在一个多模态框架中建模文本、布局和图像之间的交互以及整合空间感知自注意机制，在预训练阶段更好地捕获跨模态交互，实现在FUNSD，CORD，SROIE，Kleister-NDA，RVL-CDIP和DocVQA等下游视觉丰富的文档理解任务上新的最先进结果。

    Dec, 2020

  • 动态图编辑的形态理解

    本文介绍了一种名为 FUDGE 的模型，利用图神经网络预测文本元素之间关系、从而基于迭代方式，组合文本段落并删除边缘以得到最终的文本实体和关系。与最近在该领域的大量预训练语言模型相比，FUDGE 从（小型的）提供的训练集学习视觉特征，能够适用于文本识别困难的表格以及资源匮乏的语言。在历史 NAF 数据集上的结果表明 FUDGE 是最先进的方法。

    May, 2021

  • 图注意力网络实现的对比文档表征学习

    本文提出使用图注意力网络在可用的预训练Transformer模型之上来学习文档嵌入，并基于该模型设计简单的对比学习策略，在大量无标签语料库上预训练模型。经验证明，我们的方法在文档分类和文档检索任务中是有效的。

    Oct, 2021

  • 图形对比学习中的扩充: 当前方法论缺陷和更好做法

    该论文介绍了使用对比学习（CL）进行无监督图表示学习的方法。作者通过探究使用域不可知图形扩充的高性能图像对比学习和 DAGAs 对图形对比学习的影响，提出了几个检查机制和设计任务感知扩充的策略，以提高模型的准确性。

    Nov, 2021

  • FormNet：表格文档信息提取中超越顺序建模的结构编码

    提出一种新的结构感知序列模型 FormNet，它通过引入 Rich Attention 和 Super-Tokens，能够更准确地序列化表单中的标记，从而实现了优于现有方法的性能。

    Mar, 2022

  • 基于图注意力网络的多模态预训练在文档理解中的应用

    本文提出了一种基于多模态图注意力机制的图文结合的自动文档分析模型(GraphDoc)，该模型利用文本、布局和图像信息进行多模态预训练，并通过门控融合层对每个节点进行多模态特征融合，通过图注意层建模每个节点之间的上下文关系，学习了仅使用320k未标注文档的通用表示， 在公共数据集上获得了最先进的性能。

    Mar, 2022

  • DocFormerv2: 文档理解的本地特征

    提出了一种多模态Transformer模型- DocFormerv2，应用于视觉文档理解领域，在多个数据集上都取得了最先进的结果，并通过大量消融实验证明了其预训练和无监督任务设计的有效性。

    Jun, 2023

  • DocumentCLIP：连结重排版文档中的图片与正文

    本文提出了一种基于 DocumentCLIP 的显著性感知对比学习框架，旨在加强视觉-语言预训练模型理解文本内图像与长文本相互作用，并且该模型可用于新闻文章、杂志和产品描述等语言和视觉丰富的内容的实际多模态文本理解。该框架采用自己收集的大型维基百科数据集进行预训练，证明其不仅在受监督学习的情况下优于现有基线，而且在零样本评估中表现最佳。

    Jun, 2023

  • 层次化多模态预训练以理解视觉丰富的网页

    通过整合文本、结构和图像等多模态信息，使用多模态预训练网络进行自动文档理解和信息提取，实现了对网页的深入理解，显著提高了网页理解任务的性能。

    Feb, 2024

  • 大型视觉-语言模型中利用对比学习增强视觉文档理解

    利用对比学习框架DoCo，该研究填补了大型视觉-语言模型在处理富文本场景中的细粒度特征缺失问题，提高了对文本丰富的文档的视觉表示，并在多个视觉文档理解基准上取得了优越的性能。

    Feb, 2024