Jul, 2023

半监督元学习的时空学习

PDF
TL;DR应用元学习于自监督遮蔽自编码器以实现时空学习的研究中，我们通过三个步骤进行探索。我们测试了应用元学习于现有先进表示学习架构的影响，并通过三种方法进行时空学习的测试，分别是仅应用元学习架构、仅应用表示学习架构，以及应用表示学习与元学习架构的组合。我们使用 Memory Augmented Neural Network (MANN) 架构来应用元学习于我们的框架。具体地，我们首先实验了在小规模时空数据集上应用预训练的 MAE 进行视频重构任务的微调。接下来，我们尝试训练 MAE 编码器并应用分类头来进行动作分类任务。最后，我们实验了在具备 MANN 骨干网络的情况下，应用预训练的 MAE 进行动作分类任务的微调。
发现论文，激发创造
  • 遮盖自编码器作为时空学习器

    研究了 Masked Autoencoders 在视频方面的应用，支持在没有时空归纳偏差的情况下，使用随机遮挡进行自编码器学习，观察到高比例遮挡可提高速度和表现，可以成为无监督学习的方法。

    May, 2022

  • 模态不可知的元学习遮蔽自编码器的自监督学习

    通过将 Masked Auto-Encoder（MAE）作为一个统一的、与模态无关的自监督学习框架，通过元学习对其进行解读，并从统一提高其在不同模态下的自监督学习的动机出发，我们提出了 MetaMAE。我们的关键思想是将 MAE 的掩码重构视为元学习任务，并通过未掩码标记的变换器元学习的涉及来预测掩码令牌。基于这个新颖的解读，我们提出了集成两种先进的元学习技术的方法。首先，我们使用基于梯度的元学习来适应变换器编码器的平均潜在因素以增强重构。然后，我们通过任务对比学习来最大化平均化和适应化潜在因素之间的对齐，从而指导变换器编码器更好地编码任务特定的知识。我们的实验证明了 MetaMAE 在与模态无关的自监督学习基准（称为 DABS）中的优越性，明显优于之前的基线。

    Oct, 2023

  • 时空解耦掩码预训练用于交通预测

    通过使用掩码自编码器进行预训练，我们提出了一种新颖的框架 STD-MAE，用于准确预测多变量交通流时间序列，该框架能够学习和编码复杂的时空依赖关系，并通过隐含表示增强下游时空交通预测模型的能力。

    Dec, 2023

  • 基于元学习的自编码器进行少样本预测

    使用 meta-recognition 模型通过 autoencoder 方法，学习简洁的模型代码，并通过 meta-generative 模型构建任务特定模型参数，实现比 fine-tuned 基线网络更低的损失和与最先进的元学习算法相匹配的性能，同时还能够识别对模型预测有影响的训练样本和预测获取哪些附加数据将对改善模型预测最有价值。

    Jul, 2018

  • T-MAE：用于点云表示学习的时态掩码自动编码器

    在户外点云分割中，基于转换器等先进网络的建模能力受制于标注数据的稀缺性。为了更好地利用点云序列中蕴含的时间信息，本文提出了一种有效的预训练策略，即时序遮蔽自动编码器 (Temporal Masked AutoEncoders, T-MAE)，通过输入与时间相关的相邻帧并学习时间依赖关系。T-MAE 预训练策略结合了 SiamWCA 骨干网络，其中包含了孪生编码器和基于窗口的交叉注意力模块 (window-based cross-attention, WCA)，用于接收两帧输入。此外，为了提高目标对象的理解能力，时间建模还作为一种稳健且天然的数据增强方法，在同一对象的不同帧之间考虑自车运动改变的照明角度。通过使用遥远的历史帧而非连续帧，可以更加成本有效且强大。在自监督学习方法中，利用 T-MAE 预训练策略在 Waymo 数据集上实现了最佳性能。通过全面实验验证了本提案的所有组成部分。在接受后，源代码将会公开。

    Dec, 2023

  • 揭示空间时间遮挡自编码器在多变量时间序列预测中的威力

    该研究提出了一种基于空间 - 时间蒙面自编码器（STMAE）的多元时间序列（MTS）预测框架，利用蒙面自编码器来增强空间 - 时间基线模型的性能，并通过在多个 MTS 基准上进行广泛实验来证明其在提高 MTS 预测能力方面的潜力。

    Sep, 2023

  • 基于注意力引导的蒙版自动编码器用于学习图像表示

    利用注重对象的重建过程来指导复原能力的建议，通过在损失函数中利用场景的注意力图获取的注意力图，提供更多的重建相关对象的强调，从而激励模型学习更加注重对象的表示，同时通过改进的线性探测和 k-NN 分类在几个基准测试中展示出我们预训练模型具有更好的潜在表示能力，同时使 ViTs 对不同背景更加稳健。

    Feb, 2024

  • AdaMAE：自适应掩模自编码器实现高效时空学习

    本文提出了一种自适应掩蔽策略 AdaMAE，通过语义上下文采样网络有效地学习高空间时间信息的特征，达到更好的分类效果和更快的预训练速度。

    Nov, 2022

  • SemMAE：用语义引导的遮蔽训练自编码器

    本文提出了一种 Semantic-Guided Masking 策略，通过引入语义部分将语义信息集成到 MAE 训练过程中，以学习更好的图像表示。该训练方法在各种视觉任务中都可以表现出色，特别是在 ImageNet-1k 中实现了 84.5% 的细调准确度，比基本 MAE 高 1.4%。

    Jun, 2022

  • SS-MAE：用于多源遥感图像分类的空间 - 频谱屏蔽自编码器

    提出了一种空间 - 光谱掩码自编码器 (SS-MAE) 用于高光谱成像和激光雷达 / 合成孔径雷达数据的联合分类，实现了空间和光谱表示的充分利用，并通过在训练阶段添加两个轻量级卷积神经网络来补充局部特征，成功在三个公开数据集上验证了 SS-MAE 相对于其他先进基线方法的优越性。

    Nov, 2023