本研究设计并研究了一种新的分层注意力 Transformer 架构（HAT），在几个序列到序列任务中优于标准 Transformer，包括在 PubMed、arXiv、CNN/DM、SAMSum 和 AMI 上的四个摘要任务中取得了最新的 ROUGE 分数。该架构在 WMT20 英文到德文翻译任务中优于文档级机器翻译基线，并通过可视化分层编解码器注意力来研究了分层层次的理解，最后研究了编码器预训练上的分层学习并分析了其在分类任务上的性能。

Apr, 2021

本文提出了一种用于匹配长文档的 Siamese Multi-depth Transformer-based Hierarchical（SMITH）编码器，来解决长文档匹配的语义匹配问题，该编码器包含多项创新来适应输入文本的长度，其中包括使用速度更快的遮盖句块语言建模任务来更好地捕捉文档内的语义关系，实验结果表明 SMITH 在多个基准数据集的表现优于现有最先进的模型，最大输入文本长度从 512 扩展到 2048。

Apr, 2020

利用预训练的句子转换器生成匹配候选项，接着使用优化的双重编码器来生成最佳匹配项以便自动匹配知识图谱和本体论。在多个数据集上进行了验证并展示了可行性和卓越的结果。

Apr, 2022

本研究将词汇级别的比较和聚合作为一个一般的框架，以解决在 NLP 任务中，如机器理解、答案选择和文本蕴含等方面的序列匹配问题，并使用卷积神经网络来执行该框架。研究结果表明，某些基于逐元素操作的简单比较功能可以比标准神经网络和神经张量网络表现更佳。

Nov, 2016

提出一种层次噪声过滤模型 Match-Ignition，通过将 PageRank 算法嵌入 Transformer 并在匹配过程中在句子和单词级别识别和过滤噪声信息，以提高长型文本匹配问题的有效性和效率。

Jan, 2021

本研究通过使用两种 Transformer 编码器架构来统一图像和文本之间的差异，提出了一种基于层次对齐 Transformer 的跨模态检索框架，通过多层次的对齐方案，对图像和文本进行了更好的交互和对齐，实验证明该框架优于其他 SOTA 基线，并在两个基准数据集上实现了显著的提升。

Aug, 2023

本文提出了一种基于神经网络的、端到端的异构数据（视频到文本）对齐方法，采用长短时记忆（LSTM）模块栈移动数据进行对齐操作，避免了已有方法中的局限性和缺陷，并在半合成和实际数据上取得了领先于现有技术的表现。

Feb, 2018

本篇论文研究表明 Transformer 中的注意力头并不相等，为解决这个问题，提出了 HeadMask 方法，在多个语言对中实现了翻译改进。

Sep, 2020

本文探讨了 Transformers 在长序列建模中的应用，并提出了一种处理百万级依赖关系的机器学习系统，其中的分布式多头注意力机制可提高 40 倍的计算效率。

Feb, 2023

通过替换 Transformer 中的 self-attention，用 multi-head neural n-gram 来完成序列到序列任务，发现两者结合可以进一步提高 Transformer 的性能。

Jul, 2022