本文提出一种名为 StrucTexT 的统一框架，该框架使用 transformer 构建了一个段 - 标记对齐的编码器来处理文档上下文中不同层面的实体标记和链接任务，并使用三个自监督任务设计了一种新颖的预训练策略，以有效地提取多模态信息，从而优于 FUNSD，SROIE 和 EPHOIE 数据集的现有方法。

Aug, 2021

StrucTexTv3 是一种高效的视觉语言模型，通过采用多尺度减少可视转换器和多粒度令牌采样器作为视觉令牌生成器，结合指令学习提高感知与理解能力，并使用 TIM-30M 来提升模型的鲁棒性，实现了领先的文本丰富图像感知任务和理解任务的结果，展现了广泛应用的巨大潜力。

May, 2024

通过提出的 HiStruct+ 模型，将 Transformer-based language models 中的层级结构信息显式注入到提取式文摘模型中，提高了 PubMed 和 arXiv 数据集中提取式文摘的 ROUGEs 指标，实验发现：数据集对模型效果的影响是关键因素，数据集中的明显层级结构可以取得更大的性能提升，而在模型的表现中，层级位置信息的贡献最大。

Mar, 2022

本研究通过将视觉和文本独立地映射到联合嵌入空间中的双编码器方法和使用跨注意力的视觉文本变压器方法来进行大规模图像和视频数据集的基于语言的搜索，并将两种方法相结合，提高了检索准确性并确保了可扩展性，同时还引入了新的细粒度跨注意力架构，并通过蒸馏和重新排序结合了快速双编码器模型和缓慢但准确的变压器模型，并在 Flickr30K 图像数据集和 VATEX 视频数据集上验证了该方法。

Mar, 2021

通过建立分层结构的 Transformer 模型 Hourglass，让 Transformer 可以更加高效地处理长序列，在 ImageNet32 生成任务方面表现出新的最先进，同时提高了在广泛研究的 enwik8 基准上的语言建模效率。

Oct, 2021

提出一种称为 Hi-Transformer 的层次交互 Transformer 模型，通过学习每个句子的表示来获取全局文档信息，可以高效、有效地处理长文档建模问题。

Jun, 2021

本文介绍了 Fastformer 模型，这是一种基于加法注意力的高效 Transformer 模型，与现有的 Transformer 模型相比，它可以更有效地建模长文本，并且具有线性复杂度。

Aug, 2021

本文研究了图片到文本和文本到图片生成的联合学习，使用了基于 Transformer 的单个多模式模型来统一学习双向任务，并通过两级粒度特征表示和序列级训练进一步改进 Transformer 的统一框架，实验证明，该方法显著提高了先前基于 Transformer 的模型 X-LXMERT 的文本到图像生成的 FID（37.0→29.9）和在 MS-COCO 数据集上对细调图像到文本生成的 CIDEr-D 得分（100.9%→122.6%）。

Oct, 2021

本文介绍了一种新模型 LongT5，该模型将长输入变换（ETC）的注意力机制和摘要预训练（PEGASUS）的预训练策略整合到可扩展的 T5 架构中，取得了更好的自然语言摘要和问答系统结果。

Dec, 2021

本文提出了一种神经网络归纳模型，能够有效地处理多个输入文档，并利用 Transformers 架构对文档进行层次编码，通过注意力机制来表示跨文档之间的关系，并学习文本单元之间的潜在依赖关系，在 Wikisum 数据集上的实验证明，所提出的架构比数个强基线模型都有明显的改进。

May, 2019