本文提出了一种统一的通道感知自监督学习框架（CaSS），通过设计一个新的基于 Transformer 的编码器（CaT）来捕捉 MTS 不同时间通道之间的复杂关系，并结合 Next Trend Prediction（NTP）和 Contextual Similarity（CS）两种新颖的预训练任务来实现自监督学习的表示学习，实验结果表明，与以前的自监督 MTS 表示学习方法相比，我们的框架在几个常用的基准数据集上均达到了新的最优成果（LSST 数据集上提高了 7.70％），并可很好地应用于下游 MTS 分类。

Mar, 2022

该论文提出了一种名为 FOCAL 的新型对比学习框架，通过自监督训练从多模态时间序列感知信号中提取全面的特征。FOCAL 通过引入共享特征和私有特征的分解潜空间，以在感官模式间保留一致的特征模式并提取独占的信息以及引入时间结构约束来处理挑战。在四个多模态感知数据集上进行了广泛的评估，证明了 FOCAL 在下游任务中始终优于现有基准，并在不同标签可用比例下取得了明显的优势。

Oct, 2023

提出了一种模型无关的方法 MeTFA 用于量化不确定性并增加解释算法的稳定性，该方法可将信任度提高，并可在保持可信度的同时显著减少不稳定性，并展示了在语义分割模型中定位上下文偏差和抵御针对解释的对抗攻击的潜在能力。

Sep, 2022

通过研究神经网络中特征映射的统计矩，我们发现高阶矩在增强模型能力方面具有关键作用。因此，我们引入了一种灵活和全面的机制，称为 “广泛的矩聚合（EMA）”，以捕获全局空间上下文。在此机制基础上，我们提出了一种名为 “矩通道注意力（MCA）” 的框架，通过我们的 “交叉矩卷积（CMC）” 模块，在尽量减少额外计算成本的同时高效地结合了多个级别的基于矩的信息。实验证明，我们提出的方法在经典的图像分类、目标检测和实例分割任务中取得了最先进的结果，超越了现有的通道注意力方法。

Mar, 2024

该论文提出了在频域进行特征分解以解决通道表示问题的方法，使用多光谱通道注意力机制来实现通道压缩，并在图像分类、物体检测和实例分割任务上取得了优异的效果。

Dec, 2020

我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。

Nov, 2023

多元时间序列分类中的解释方法主要关注基于显著性的解释方法，通过分析 ROCKET 和 dResNet 分类器，以及 SHAP 和 dCAM 两种解释方法在不同数据集上的表现，发现多元数据集的平坦化对分类效果有积极影响，同时也注意到了合成数据集不适合进行时间序列分析。

Aug, 2023

通过使用正交滤波器实现的一个通道注意机制，名为 OrthoNet，在 Birds、MS-COCO 和 Places356 等数据集上显示出卓越的性能，与 FcaNet 和其他注意机制相比具有竞争力，进一步研究了网络中的位置和通道分组等实现通道注意的一般原则。

Nov, 2023

我们介绍了 CSformer 模型，它通过精心设计的两阶段自注意机制实现了序列特定和通道特定信息的提取，并引入了序列适配器和通道适配器，以促进各个维度之间的协同和相互增强，从而显著提高了多变量时间序列数据的特征提取能力。

Dec, 2023

本研究提出了一种新的频率增强通道注意力机制，可以自适应地建模通道之间的频率相互依赖关系，避免傅里叶变换中出现的问题性周期性引起的高频噪声，目的是改善当前主流网络的预测能力，并显示出良好的性能。

Dec, 2022