通过生态瞬时评估 (EMA) 研究，通过跨多个个体收集了大量的时序数据，持续监测情绪行为的各种项目。研究表明，将相似个体的附加信息聚集在一起，可以提高模型的预测性能，从而改善个体的描述。本文研究基于模型的聚类方法，并使用内在的聚类评估度量和下游预测方案的性能来分析这两种方法。结果显示，基于性能的聚类方法在所有评估度量方面均取得最佳结果。此外，通过将群组模型的性能与三种基准方案（个性化、整体群组和随机群组）进行比较，再次确认了聚类方法的优越性，表明利用群组信息可以有效提高所有个体数据的整体性能。

Oct, 2023

该研究调查了借助回归和时间图神经网络（GNNs）评估和预测生态瞬时评估（EMA）数据的性能，发现 GNNs 能够在增加内部变量关系的图的情况下显著提升结果，将均方误差（MSE）从基准 LSTM 模型的 1.02 降低至 0.84；此外，也探讨了构建具有不同特征的图对 GNN 性能的影响，并发现使用动态优化的 GNN 学习图具有类似良好的性能，因此图学习对其他 GNN 方法也具有潜在的改进作用。

Mar, 2024

本研究使用两个电子病历文本库和四个预测任务，探索了注意机制在神经模型中的作用，发现注意机制的加入有望提高模型性能，但对预测的支持意义尚不明确。

Apr, 2019

本文提出了一种新型的高效多尺度注意力（EMA）模块，通过重新调整通道信息，并将通道分组到多个子特征中，实现对空间语义特征的良好分布，在图像分类和目标检测任务中取得了显著性能。

May, 2023

我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

Feb, 2024

我们提出了一种名为 Mutual-Cross-Attention（MCA）的新颖有效的特征融合机制，结合特殊定制的 3D 卷积神经网络（3D-CNN），该方法巧妙地发现了 EEG 数据中时域和频域特征之间的互补关系，并且通过新设计的 Channel-PSD-DE 3D 特征在 DEAP 数据集上获得了 99.49%（愉悦度）和 99.30%（唤醒度）的准确率。

Jun, 2024

本文提出了一种基于期望最大化的注意力机制模块，通过迭代估计一组更紧凑的基础来计算注意力图，从而获得低秩的表示并消除输入中的噪声信息。该模块对输入的差异性具有鲁棒性，且内存和计算效率较好，适用于计算机视觉任务和语义分割模型，在 PASCAL VOC 等数据集上实现了最佳记录。

Jul, 2019

本文提出在集合学习中研究注意力机制的可解释性，通过建立多种数据模态下的合成数据集，对注意力基于重要实例的解释进行系统评估，发现注意力分布通常反映了个体实例的相对重要性，但是也存在不符合预期的情况，因此本文建议使用集成方法最小化基于注意力的误导性解释的风险。

Jul, 2022

本文提出一种名为 AMEE 的模型无关解释评估框架，可以量化和比较用于时序分类的多个显著性解释方法，并通过扰动输入时间序列来测量其对分类准确度的影响以进行解释评估。

Jun, 2023

通过研究神经网络中特征映射的统计矩，我们发现高阶矩在增强模型能力方面具有关键作用。因此，我们引入了一种灵活和全面的机制，称为 “广泛的矩聚合（EMA）”，以捕获全局空间上下文。在此机制基础上，我们提出了一种名为 “矩通道注意力（MCA）” 的框架，通过我们的 “交叉矩卷积（CMC）” 模块，在尽量减少额外计算成本的同时高效地结合了多个级别的基于矩的信息。实验证明，我们提出的方法在经典的图像分类、目标检测和实例分割任务中取得了最先进的结果，超越了现有的通道注意力方法。

Mar, 2024