AAAIFeb, 2024

表格结构识别 Transformers 的自监督预训练

PDF
TL;DR通过自我监督预训练方法，本研究解决了线性投影变换器在表格结构识别模型中替代混合 CNN-transformer 后性能下降的问题，进一步推进了表格作为一种有前景的表示学习方式。
table structure recognitionlinear projection transformerhybrid cnn-transformerself-supervised pre-trainingmodality for representation learning
发现论文，激发创造
  • 高性能表格结构识别所需的早期卷积

    在表结构识别中，我们设计了一个轻量级的视觉编码器，通过使用卷积网络作为起始模块以达到高性能的目的，并提供了可重现性的剔除研究和开源代码以促进在我们的领域中的透明度、激发创新和促进公平比较。

    Nov, 2023

  • TSRFormer：基于 Transformer 的表格结构识别

    提出了一种名为 TSRFormer 的新的表格结构识别方法，使用线性回归问题而不是图像分割问题来预测表格的分隔线，并提出了新的两阶段 DETR 分隔线预测方法来直接从表图像中预测分隔线。使用新的技术后，我们的 TSRFormer 在几个基准数据集上都获得了最先进的表现。

    Aug, 2022

  • UniTable: 通过自监督预训练实现表格结构识别的统一框架

    通过自我监督预训练和表格图像的更丰富无标注数据，UniTable 提出了一种统一的训练框架，将表格结构识别的训练对象整合为语言建模，达到了领域内最高水平。

    Mar, 2024

  • 对视觉丰富文档的基于检测的表格结构识别进行再思考

    将无结构的表格图像转换为 HTML 序列的表结构识别（TSR）任务经常遇到这样的挑战，并发现现有的基于检测的解决方案存在一些限制，因此比较了两阶段和基于 Transformer 的检测模型，明确了成功的两阶段检测模型的关键设计方面，包括多类问题定义、锚框生成的纵横比和骨干网络的特征生成。通过改进 Cascade R-CNN 模型的这些方面，并应用简单的方法，实现了在 SciTSR、FinTabNet 和 PubTables1M 数据集上针对结构 TEDS 的最新性能提升，分别达到 19.32%、11.56% 和 14.77%。

    Dec, 2023

  • LORE++：用于表格结构识别的逻辑位置回归网络与预训练

    我们提出了一个名为 LORE 的新的 TSR 框架，它以逻辑位置回归问题为模型，通过在统一网络中回归表格单元的逻辑位置和空间位置来解决表格结构识别问题。我们进一步提出了两个预训练任务来丰富 LORE 在特征层面的空间和逻辑表示，形成升级版的 LORE++，它在准确性、泛化能力和少样本能力方面相较于前身有了显著的提升。通过对以往 TSR 范式方法在标准基准数据集上的实验，我们证明了 LORE++ 的优越性，彰显了逻辑位置回归范式在 TSR 中的潜力和前景。

    Jan, 2024

  • 自监督学习在利用 Transformer 进行物体检测方面的实证研究

    研究使用自监督学习中的图像重构、遮蔽图像建模和拼图等方法来训练物体检测转换器的编码器，以实现预训练和多任务学习，并在 iSAID 数据集上进行了初步实验。

    May, 2022

  • 基于 Transformer 的自蒸馏生成式先验用于脑 MRI 超分辨率

    本研究提出了一种基于 TransMRSR 的创新性两阶段脑 MRI 超分辨率方法，具有良好的细节保留和结构重建性能，其中 GAN 是提高高分辨率图像生成质量的关键模块之一。

    Jun, 2023

  • 视频超分辨率变换器

    本研究采用 Transformer 对视频超分辨率问题进行了改进，引入了空时卷积自注意力层以利用数据位置信息，设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征，实验证明了这种方法的有效性。

    Jun, 2021

  • 自监督学习中的 CNN 反击：更大的卷积核大小可能就是你所需的一切

    卷积神经网络与视觉 Transformer 在自我监督学习任务中表现相近，通过增加卷积核大小和其他小调整即可达到与 Transformer 相同的性能水平。

    Dec, 2023

  • 学习轨迹感知的视频超分辨率转换器

    本研究提出了一种基于轨迹感知 Transformer 的视频超分辨率方法，利用空间和时间的信息来实现视频帧的超分辨率，实验证明该方法优于现有的超分辨率模型。

    Apr, 2022