- PRICE：一种用于跨数据库基数估计的预训练模型
通过使用 PRICE 模型，使用低级别但可传输的数据分布和查询信息特征以及自注意力模型，可以准确计算任何数据库中的基数估计，而准备成本仅为基于基本一维直方图的方法。此外，价格可以在任何具体数据库上进行微调，进一步提高性能。
- 基于双重注意力网络增强学习的柔性车间调度
本文提出了一种新颖的深度学习框架，该框架可以利用深度特征提取和强化学习进行可扩展决策选择，以解决灵活作业车间调度问题。这种框架使用了自我关注模型和双重自我关注网络来准确地表示和简洁地描述操作和设备之间的关系。实验结果显示，该方法在某些情况下 - AAAI多任务大模型设备调优
本文提出了 Device Tuning 方法来提高自注意力模型的计算效率，并通过压缩表示减少设备与云端之间的通信，有效支持多任务学习。
- MM基于可重复使用的自注意力机制的时尚推荐系统
利用时序和语境信息，结合不同类型的时尚实体及其异构特征，使用可重用的基于注意力机制的时尚推荐算法 AFRA，提供个性化的排名流，风格相似的时装推荐，相似物品推荐和基于最近客户行为的同期推荐，在离线和在线实验中均取得了显著的客户留存和参与度的 - AAAILaneformer: 面向车道检测的对象感知行列变换器
Laneformer 是一种基于 transformer 的架构，用于自动驾驶视觉感知中长期车道检测，通过自注意力机制实现车道形状和语义特征的有效捕获，实验表明能达到 CULane 基准的最佳表现。
- SLAM: 通过语音 - 文本联合预训练实现语音和语言建模的统一编码器
将无监督预训练应用于语言理解，在语音和文本之间建立单一模型，包括 BERT 目标和 w2v-BERT 目标以及其他预训练技术改进，同时在 GLUE 任务中也取得了不俗的竞争力。
- OmniNet: 基于 Transformer 的全向表示
本文提出了一种名为 Omninet 的模型，通过利用元学习来学习全方位的自注意力机制，并使用高效的自注意力模型（如基于核的、低秩的和大型鸟）以缓解其高计算成本，经过在多项任务上的广泛实验，证明了这个模型在语言建模和图像识别方面已经取得了非常 - 自注意力在基于 Transformer 的自动语音识别中的应用价值
本研究研究了 Transformers 中自注意力机制在音频识别中的应用，发现在训练较高的编码层时，全局视图不是必须的。
- 使用 BERT 探索跨句子上下文进行命名实体识别
本文系统研究了使用 BERT 模型处理跨句子信息识别命名实体的方法，并提出了 Contextual Majority Voting (CMV) 算法。在 CoNLL'02 和 CoNLL'03 数据集上实验表明，该算法在英语、荷兰语和芬兰语 - 自注意力何时可被前馈层替代？
使用前馈网络替代自注意力模型的编码器中的上层自注意力层，不会造成语音识别性能降低，在较低的自注意力层对输入进行编码已足够获取丰富的上下文信息。
- ACL基于自注意力机制的字符级翻译
本文研究了自注意力模型在字符级神经机器翻译中的适用性，并测试了标准 Transformer 模型以及一种新颖的变体。我们在 WMT 和 UN 数据集上进行了广泛实验，使用最多三种输入语言（法语，西班牙语和中文）进行双语和多语翻译。我们的变体 - 超过 512 标记：Siamese 多深度变形金刚分层编码器用于长篇文档匹配
本文提出了一种用于匹配长文档的 Siamese Multi-depth Transformer-based Hierarchical（SMITH）编码器，来解决长文档匹配的语义匹配问题，该编码器包含多项创新来适应输入文本的长度，其中包括使用 - CVPR基于轨迹和视频数据的足球团体活动检测
本研究使用轨迹和视觉数据来检测足球比赛中的群体活动，并提出了自我注意力模型来显式地建模球员与球之间的交互作用。结果表明，基于视觉或轨迹的方法都能够在 0.5 秒内识别出大部分事件，并且每种方法都有其独特的挑战。
- EMNLP针对叙事阅读理解的语境感知语义自注意力
使用语言学注释作为基础，提出结构改进并应用于长篇叙述文本的阅读理解中，通过提取段落单元之间的关系、事件与其参数以及代词提及之间的关系来提高模型的性能，尤其是在语境内部的语义角色关系、句内关系、长距离代词关系中。实验结果表明，在需考虑到句内、 - NIPS深度自回归模型的块并行解码
该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。