Aug, 2023

SRFormer：基于回归的文本检测 Transformer 与分割技术的协同增强

PDF
TL;DR我们提出了一种基于 SRFormer 的统一模型，融合了分割和回归，旨在实现分割表示的鲁棒性和实例级回归的直接后处理。通过在初始解码器层获取有利的分割预测结果，我们限制了分割分支的融入，并在后续层中采用渐进式回归优化，实现了性能的提升，同时最小化了掩膜带来的额外计算负载。此外，我们提出了一个基于掩膜信息的查询增强模块，利用分割结果作为自然软区域感兴趣池化和提取鲁棒的像素表示，进而增强和多样化实例查询。在多个基准测试中进行了广泛实验，得出了有说服力的结果，突显了我们的方法在鲁棒性、训练和数据效率以及性能方面的卓越表现。
text detectionsegmentation-based methodsregression-based methodssrformermask-informed query enhancement module
发现论文，激发创造
  • 分段循环变压器：一种高效的序列到序列模型

    本研究提出一种名为 “SRformer” 的分段循环变压器模型，通过使用分段关注机制和循环关注机制结合来处理长度较长的序列，降低计算和内存成本，并应用于 T5 和 BART 转换器上进行摘要生成等任务，结果显示比分段变压器基线具有更高的性能表现。

    May, 2023

  • TextFormer：一种基于查询的端对端 混合监督文字定位器

    TextFormer 提出了一种使用 Transformer 架构实现的查询式端到端文本定位算法，采用多任务建模的联合语义理解，并通过自适应全局聚合模块处理任意形状的文本，通过弱监督和全标注的语料库信息提升检测和端到端文本定位结果，实现了在双语数据集上的显著优势。

    Jun, 2023

  • TSRFormer：基于 Transformer 的表格结构识别

    提出了一种名为 TSRFormer 的新的表格结构识别方法，使用线性回归问题而不是图像分割问题来预测表格的分隔线，并提出了新的两阶段 DETR 分隔线预测方法来直接从表图像中预测分隔线。使用新的技术后，我们的 TSRFormer 在几个基准数据集上都获得了最先进的表现。

    Aug, 2022

  • SegFormer：使用 Transformer 简单高效的语义分割设计

    SegFormer 是一种简单、高效而强大的语义分割框架，它将 Transformers 和轻量级的多层感知机解码器统一在一起。我们展示了这种轻量简单设计对提高 Transformers 语义分割效率的关键所在，并为 SegFormer 构建了一系列模型，其中最好的模型 - SegFormer-B5，在 Cityscapes 验证集上达到了 84.0％的 mIoU，显示了出色的零 - shot 鲁棒性。

    May, 2021

  • 基于 Transformer 的对象分割（SOTR）

    该研究提出了一种新型、灵活且有效的基于 transformer 的模型 SOTR，该模型在 CNN 骨干网络的基础上增加了两个并行子任务，通过 transformer 预测每个实例的类别并使用多级上采样模块动态生成分割掩模，sotr 在识别实例级别时表现优异，代码开放源代码。

    Aug, 2021

  • 从序列到序列的角度重新思考使用 Transformers 进行语义分割

    本文提出了一种新的语义分割方法，使用纯 Transformer 编码图像为序列的方式，通过全局上下文模型和一个简单的解码器生成强大的分割模型，称为 SETR，取得多项最新的测试结果。

    Dec, 2020

  • 金字塔融合变压器用于语义分割

    本研究提出了一种基于 Transformer 的 Feature Pyramid Fusion Transformer (PFT) 方法，结合学习到的查询和 Feature Pyramid 中的每个空间特征进行交叉注意力和交叉尺度的互补信息交换，提高了面向掩码的语义分割性能，并在三个广泛使用的语义分割数据集上达到了与现有最佳方法相比的最先进的性能。

    Jan, 2022

  • Panoptic SegFormer: 使用 Transformer 深入探究全景分割

    Panoptic SegFormer 是一种基于 transformers 且具有高效深度监控遮罩解码器、解除查询集耦合策略及改进后处理方法等三个创新性组件的全面框架，是目前在 COCO test-dev 上实现 56.2％PQ 准确率且具备更强的零 - shot 鲁棒性的最先进的 Panoptic 分割方法之一。

    Sep, 2021

  • 用于科学发现的符号回归的 Transformer 模型

    这篇研究论文介绍了一种新的 Transformer 模型，用于符号回归（Symbolic Regression）特别关注其在科学发现领域的应用。我们提出了三种不断增加灵活性的编码器架构，但代价是列置换等变性的破坏。训练结果表明，最灵活的架构能够防止过拟合。经过训练后，我们应用最佳模型到符号回归科学发现数据集（SRSD 数据集），使用归一化的基于树的编辑距离获得了最新的结果，而且不需要额外的计算成本。

    Dec, 2023

  • 语义分割的 Transformer 分割器

    本文提出了 Segmenter，一种用于语义分割的 Transformer 模型，利用一种点刀线性解码器或一个 mask transformer 解码器将图像分割为不同的类别，通过对模型参数的分析，表明 Segmenter 在 ADE20K 和 Pascal Context 数据集上具有良好的性能。

    May, 2021