KDDAug, 2023

ViT2EEG: 基于混合预训练视觉 Transformer 的 EEG 数据利用

PDF
TL;DR本研究展示了在脑电图（EEG）回归任务上，以 ImageNet 为预训练数据的混合 Vision Transformer（ViT）模型的应用。通过与其他模型进行比较，包括没有 ImageNet 权重的相同结构 ViT 模型，在 EEG 数据上微调后，该模型表现出显著的性能提升。这一发现挑战了对模型泛化的传统理解，表明在合适的微调流程下，预先训练在看似无关的图像数据上的 Transformer 模型可以为 EEG 回归任务提供有价值的先验知识。这种方法的成功暗示了 ViT 模型在视觉任务环境中提取的特征可以轻松地转化为 EEG 预测建模的目的。我们建议不仅在神经科学和相关领域，而且在任何由实际、财务或伦理限制所限制的任务中采用这种方法。我们的结果揭示了预训练模型在与其原始目的明显不同的任务上的潜力。
hybrid vision transformerelectroencephalogram (eeg)model generalizationfine-tuningpretrained models
发现论文，激发创造
  • 将预训练的 ViTs 与 TCNet 融合以增强脑电回归

    通过将预训练的视觉 Transformer（ViTs）与时域卷积网络（TCNet）相结合，以增强 EEG 回归的精度，本研究揭示了 ViTs 序列数据处理能力和 TCNet 优越的特征提取能力的核心，用于提高 EEG 分析精度，并分析了如何构建用于注意力机制的最佳块，以平衡计算速度和准确性的关系。研究结果表明，在 EEGEyeNet 的绝对位置任务中，均方根误差（RMSE）从 55.4 降至 51.8，超过了现有的最新模型，而不牺牲性能的同时，将模型的速度提高了一个数量级（高达 4.32 倍）。这一突破不仅在 EEG 回归分析中设立了新的基准，而且为将变换器结构与专门的特征提取方法用于多样化的 EEG 数据集开辟了新的研究方向。

    Apr, 2024

  • 大型 Transformer 模型在 EEG 学习中表现更好

    我们展示了从图像和文本中预训练的转换器模型能够直接微调为基于脑电图的预测任务，并提出了 AdaCE 模块，用于将 EEG 数据转换成图像和文本形式以进行微调，取得了最先进的性能。

    Aug, 2023

  • 预训练的 ViT 模型在医疗图像中得到了多用途的表示

    本研究探讨了视觉 Transformer 在医学图像分类中的优劣，并发现使用预训练模型时，视觉 Transformer 可以与卷积神经网络媲美，成为 CNN 的一种可行替代方法。

    Mar, 2023

  • DeiT III：ViT 的复仇

    本文改进了一种用于训练 Vision Transformer (ViT) 的全监督训练方法，通过仅使用三种数据增强方式，此方法优于之前的全监督训练方法，并且在图像分类、迁移学习和语义分割等任务中表现出色，同时也为 ViT 的自我监督方法提供了更好的基线。

    Apr, 2022

  • Transformer 网络在原始 EEG 数据分类中的有效性

    本篇论文探讨了 Transformer 网络用于分类清洗和预处理后的脑电图（EEG）数据的有效性和性能，结果表明，基于 Transformer 的深度学习模型可以成功地消除对 EEG 数据特征提取的需求，实现了脑电图数据的高效分类。

    Feb, 2022

  • 基于视频和合成 MRI 的三维视觉架构预训练用于神经影像分析

    通过对多种视觉架构进行基准测试，证明了预训练模型在新兴数据集上的初始化价值，使得这些预训练模型能够适应各种下游神经影像任务，即使目标任务的训练数据有限。

    Sep, 2023

  • Vision Transformers 的数据、增强和正则化训练

    本文通过系统的实证研究，发现增加计算资源和数据增强可以弥补 Vision Transformers 学习小规模数据时的归纳偏差，从而实现与大规模数据学习相同精度的效果。我们在 ImageNet-21k 数据集上训练了不同规模的 ViT 模型，比大规模数据集 JFT-300M 上的同类模型表现更好。

    Jun, 2021

  • 基于自监督预训练 Vision Transformer 的单目机器人导航

    使用自监督方法预训练的 Vision Transformer，成功地在使用 70 个训练图像的 Duckietown 环境中训练了一个粗略的图像分割模型，其推理分辨率可以调整以平衡预测粒度和实时感知约束，并用作简单而强大的视觉伺服代理的骨干，用于差分驱动移动机器人的车道跟踪和障碍物回避两个任务。

    Mar, 2022

  • hvEEGNet: 基于层次变分自编码器对脑电数据进行的神经科学应用

    该研究提出了两种变分自编码器模型（vEEGNet-ver3 和 hvEEGNet），用于解决脑电重建中的问题。hvEEGNet 能够以非常高的准确度重建脑电数据，并发现了之前研究结果可能受到的腐败脑电记录的影响，同时提供了潜在的表征，用于其他分类问题和脑电数据生成。

    Nov, 2023

  • ViTs 随处可见：综合研究展示不同领域中的视觉 Transformer

    Transformer 设计是自然语言处理任务的事实标准，并且对计算机视觉领域的研究人员产生了兴趣。与卷积神经网络相比，基于 Transformer 的 Vision Transformers（ViTs）在许多视觉问题中变得更加流行和占主导地位。

    Oct, 2023