本文提供了一个用于端到端的文档图像中的复杂布局的实例级分割的统一 Transformer 编码器 - 解码器架构，并且在对 PubLayNet，PRIMA，Historical Japanese（HJ）和 TableBank 等竞争基准的广泛实验中，表明我们的模型使用 SwinL 骨干网比现有的最先进方法取得更好的分割性能，平均精度分别为 93.72、54.39、84.65 和 98.04。

May, 2023

使用自我监督技术，将文档图像中的伪造布局用于预先训练图像编码器，以在无监督的框架内学习文档对象的表示和定位，然后使用目标检测模型进行微调，该流水线在文档布局分析中表现卓越。

May, 2023

本文提出了一种新的框架，称为文档图像变压器 (DocTr)，以解决文档图像的几何和光照失真问题。 具体来说，DocTr 由几何展开变压器和光照校正变压器组成。 通过设置一组学习的查询嵌入，几何展开变压器通过自注意机制捕获文档图像的全局上下文，并解码逐像素的位移解以校正几何失真。在几何展开后，我们的光照校正变压器进一步去除阴影伪影，以改善视觉质量和 OCR 准确性。我们在几个数据集上进行了广泛的评估，并报告了针对最先进方法的优越结果。值得注意的是，我们的 DocTr 实现了 20.02％的字符错误率 (CER)，比最先进的方法提高了 15％绝对值。 此外，它还显示出运行时间和参数计数的高效性。

Oct, 2021

本文提出了一种新的结构化信息提取（SIE）公式，可从视觉丰富的文档中提取实体，并介绍了两个相关方法：DocTr 和预训练策略，经实验证明，该公式及方法优于现有解决方案。

Jul, 2023

LSeg 是一种用于语言驱动语义图像分割的新模型，使用文本编码器计算输入标签的嵌入，和基于 transformer 的图像编码器计算输入图像的嵌入，实现像 “草” 或 “建筑” 这样描述性的输入标签的密集像素嵌入，该模型利用语义类相应的文本嵌入与像素嵌入各自计算来训练图像编码器，实现了在测试阶段对未曾见过的类别进行泛化而不需要重新训练或仅需要单个样本的训练，且具有高度竞争的零 - shot 性能。

Jan, 2022

本研究提出三种基于 Transformer 的架构，并在三个标准数据集上进行全面比较，建立了一个新的最先进水平，在所有情况下特别是大幅减少了误差率。研究还分析了模型大小，并发现能够构建具有更少参数但保持良好性能的模型，从而促进了实际应用。

Apr, 2020

本研究提出了一种基于 transformer 网络和结构化文本分割的方法来预测跨越多个段落的连续文本段落的主题连贯性，以更有效地满足用户特定的信息需求，研究结果表明，此方法显著优于基线，并适应法律文件的结构特点。

Dec, 2020

研究使用 transformers 和 Squeeze-and-Expansion Transformer 实现医学影像分割，较传统方法显著提高了分割准确度和跨领域泛化性。

May, 2021

CLUSTSEG 是一个基于 transformer 的通用框架，通过统一的神经聚类方案解决不同的图像分割任务，并通过两个创新方面实现。像 EM 聚类一样，这些创新使 CLUSTSEG 成为一个透明而强大的框架，在上述分割任务中产生优越的结果。

May, 2023

TocBERT 是一个使用双向转换器进行文本分割的新解决方案，它通过从语义表示中检测标题和子标题来训练一个监督式的解决方案，该任务被制定为命名实体识别（NER）问题。它在医学文本分割应用中表现出色，用于细调 Bio-ClinicalBERT 模型以分割 MIMIC-III 数据集的出院总结，并在人工标注的 250 个注释数据集上取得了较高的 F1 分数。在线性文本分割问题上达到了 84.6％的 F1 分数，在分层文本分割问题上达到了 72.8％的 F1 分数，它在区分标题和副标题方面表现出色，超越了仔细设计的基于规则的解决方案。

Jun, 2024