本文提出了一种新型的TaSc机制，学习任务特定的非上下文信息以扩展原始的Attention权重，通过评估测试，证明TaSc可以提高Attention解释在两种注意机制，五个编码器和五个文本分类数据集上的解释 品质而不牺牲预测性能，并且相对于三种广泛使用的可解释性技术，TaSc一致提供更加忠实的Attention解释。

May, 2021

本文介绍了一种使用双重交叉-关注学习算法改进细粒度识别的方法，并通过全局-本地交叉关注和成对交叉关注等策略来提高自我关注机制的性能，从而使得注意力响应更加合理，能够发现更多互补的特征部位以提高识别精度。

May, 2022

引入决策树与动态图特征相结合的TREE-G模型，它不仅考虑了预定义的数据特征，而且结合了顶点特征、图拓扑信息和树的累积信息进行预测任务，同时还提供了可解释性机制，实验结果表明TREE-G在多个图和节点的预测基准实验中表现出较高的性能和准确度。

Jul, 2022

本文提出了一种名为 Treeformer 的新型 transformer 模型，通过采用基于决策树的层次化导航方法，将 attention 计算的检索成本从线性降低为几乎对数级，同时使用 TF-Attention 和 TC-Attention 两种attention层实现了性能优于基准 Transformer 30倍FLOPs的结果。

Aug, 2022

通过引入树状硬性关注机制和自我激励策略，提出了一种名为TEAROOM的新框架，用于处理大规模语言模型中的分层文本输入，并在估计特定任务属性方面显示出优势。通过多次推断逐步逼近潜在的真实值。

Feb, 2024

TaylorShift是一种新的Taylor softmax重构方法，能够在线性时间和空间内计算完整的token-to-token交互，提高了Transformers处理长序列的效率，并且在进行分类任务时不会降低准确性。

Mar, 2024

自我注意力机制通过梯度下降训练能够学习自动生成下一个标记符号的自动机，其中学习步骤分为硬检索和软组合，梯度下降隐式地发现强连接组件并选择高优先级组件，以加工序列数据。

Mar, 2024

通过树搜索解码，DeFT 提出了一种基于 IO 的树注意力算法，实现了内存高效的注意力计算，加速了端到端推理任务的运行速度。

Mar, 2024

该研究探讨了文本条件扩散模型在推理过程中的跨注意力的作用。研究发现，跨注意力输出在几个推理步骤后趋于一个固定点。因此，收敛的时间点自然地将整个推理过程分为两个阶段：初始的语义规划阶段，此阶段模型依赖于跨注意力来规划与文本相关的视觉语义；以及接下来的提高保真度阶段，在此阶段模型试图根据之前规划的语义生成图像。令人惊讶的是，在提高保真度阶段忽略文本条件不仅降低计算复杂度，而且保持了模型的性能。这产生了一种简单且无需训练的有效生成方法，称为TGATE，它在收敛后缓存跨注意力输出，并在剩余推理步骤中保持固定。我们在MS-COCO验证集上的实证研究证实了其有效性。TGATE的源代码可在此 https URL 中获取。

Apr, 2024

使用跨注意力层和精确投票策略，Cross-Attention Token Pruning（CATP）方法在多模态模型中提取有价值信息来确定重要性，相对于其他方法能达到12.1倍的准确率提升，并解决了计算效率和模型精度之间的权衡。

Apr, 2024