该研究论文提出了一种统一的混合注意力自动编码器（MAAE），用于通过单一模型实现多类异常检测，并通过采用空间注意力和通道注意力来有效捕捉全局类别信息和模拟多个类别的特征分布，同时提出了自适应噪声生成器和多尺度融合模块以模拟特征的真实噪声并保留不同类别对象的表面语义，MAAE 在基准数据集上表现出卓越的性能。

Sep, 2023

本文介绍了一种用于时间序列中的无监督在线异常检测的混合注意力和自编码器（AE）模型。该模型结合了注意力和自编码器的方法进行时间序列异常检测，通过对自编码器潜在空间中的下一个时间步骤窗口进行预测，使用验证数据集中的阈值进行异常检测，并引入了基于错误的第一统计矩的替代方法，提高了准确性。通过对多样的真实世界基准数据集进行评估，并与其他成熟模型进行比较，验证了我们提出的模型在异常检测中的有效性。

Jan, 2024

本篇研究提出了一种使用多窗口的遮盖自编码器和多头注意力机制进行多领域音频数据建模的方法，并对比了标准遮盖自编码器的性能效果和特征获取能力。实验结果表明，多窗口的遮盖自编码器在处理多领域音频数据时具有更好的性能和特征提取能力，并且获得了更加独立的特征分层。

Jun, 2023

通过使用附带注意力模块的神经门控自编码器模型，我们成功地解决了个性化推荐系统中的难题，例如数据稀疏性和异构性数据，实现了更好的推荐和可解释性结果。

Dec, 2018

本文提出了一种名为 GATE 的神经网络结构，用于对图结构数据进行无监督表示学习，结合了自我注意机制，通过编码器 / 解码器层实现图结构输入和节点属性的重构，定量地评估在许多节点分类基准数据集上的表现。

May, 2019

本文提出了一种名为自适应双向注意胶囊网络（ABA-Net）的新方法，通过在编码器中利用不同级别的源表示来为预测器提供不同视图，从而充分利用模型的表达能力，进而提升机器阅读理解任务的性能，实验结果表明，在 SQuAD 数据集上实现了最新的最佳性能。

Aug, 2022

本研究提出了一种名为 Local-to-Global auto-encoder（L2G-AE）的自编码器模型，通过引入层次自注意力机制和重构局部区域大小以及局部到全局的关系，能够更好地了解点云的局部和整体结构，同时在形状分类，检索和上采样等方面比现有方法表现更卓越。

Aug, 2019

本文介绍了自适应双向注意力（Adaptive Bidirectional Attention）模型用于机器阅读理解（Machine Reading Comprehension）中，通过利用不同层次的源表示来提高预测的精度并且在 SQuAD2.0 公开数据集上的实验表明，相比于之前的最先进模型，此方法的准确度提高了 2.5％EM 和 2.3％F1 分数。

Dec, 2020

通过重新分配注意力头部，我们提出了一种混合专家模型（MAE），其利用分块协调下降算法对其进行训练，并在机器翻译任务和语言建模任务中表现出优异的性能。

May, 2020

介绍了一种新的方法 ——InfoMax-VAE：在传统的 VAES 上加上互信息最大化的方法，同时优化其中的高级表示。在多项实验中，表现优于 Info-VAE 和 β-VAE 等现代流行的方法。

Dec, 2019