Nov, 2023

SigFormer: 稀疏信号引导变换器用于多模态人体动作分割

PDF
TL;DR介绍了一种稀疏信号引导的变压器模型 (SigFormer)，该模型通过融合密集信号和稀疏信号来提高多模态人体动作分割的准确性，在处理稀疏信号时使用了蒙版注意力机制，同时在提取特征和建模动作类别与时间边界关系时强调了边界信息。在实验中，SigFormer 在真实工业环境下的多模态动作分割数据集上表现优秀，F1 得分达到 0.958。
multi-modal human action segmentationdense signalssparse iot sensor signalssigformertemporal action boundaries
发现论文，激发创造
  • ASFormer：用于动作分割的 Transformer

    本文提出了一种名为 ASFormer 的高效 Transformer 模型，通过加入局部连接归纳先验、应用预定的分层表示模式和精心设计的解码器来解决应用 Transformer 模型于动作分割任务时遇到的问题，并在三个公共数据集上进行了广泛实验。

    Oct, 2021

  • ActionFormer：使用 Transformers 定位行为片段

    ActionFormer 是一种基于 Transformer 网络的模型，采用了多尺度特征表示和本地自我注意力机制来识别视频中的动作。它在 THUMOS14 上取得了 71.0％ mAP，在 ActivityNet 1.3 和 EPIC-Kitchens 100 中也表现出色。

    Feb, 2022

  • SegFormer：使用 Transformer 简单高效的语义分割设计

    SegFormer 是一种简单、高效而强大的语义分割框架，它将 Transformers 和轻量级的多层感知机解码器统一在一起。我们展示了这种轻量简单设计对提高 Transformers 语义分割效率的关键所在，并为 SegFormer 构建了一系列模型，其中最好的模型 - SegFormer-B5，在 Cityscapes 验证集上达到了 84.0％的 mIoU，显示了出色的零 - shot 鲁棒性。

    May, 2021

  • SparseFormer: 有限潜在令牌的稀疏视觉识别

    本文提出了一种命名为 SparseFormer 的新方法，以在端到端的方式中模仿人的稀疏视觉识别，其中 SparseFormer 使用稀疏特征抽样过程，在潜在空间中使用极少量的标记（降至 49），而不是在原始像素空间中处理密集单元，从而具有更低的计算成本。SparseFormer 在 ImageNet 分类基准数据集上的实验表明，它具有与规范或已建立模型相当的性能，同时提供更好的准确度 - 吞吐量权衡，并且设计我们的网络可以以更低的计算成本轻松扩展到视频分类。

    Apr, 2023

  • GSGFormer: 多模态行人轨迹生成式社交图变换

    GSGFormer 是一个创新的生成模型，能够考虑复杂的相互作用并提供大量潜在的行为模式来预测行人的轨迹。通过采用异构图神经网络捕捉行人、语义地图和潜在目的地之间的相互作用，以及使用 Transformer 模块提取时间特征和采用 CVAE-Residual-GMM 模块生成多样的行为模态，GSGFormer 在多个公共数据集上的评估中不仅超过了领先方法的表现（在数据充足时），而且在数据有限时仍具有竞争力。

    Dec, 2023

  • SVFormer：一种直接训练的脉冲转换器用于高效的视频动作识别

    我们研究了利用脉冲神经网络的直接训练的 SVFormer（Spiking Video transFormer）进行视频动作识别，通过整合局部特征提取、全局自注意力和 SNN 的内在动态、稀疏性和脉冲驱动特性，以更高效和有效的方式提取时空特征，并在两个 RGB 数据集（UCF101、NTU-RGBD60）和一个神经形态学数据集（DVS128-Gesture）上进行了评估，表现出与主流模型相媲美的性能同时功耗更低，UCF101 的准确率达到 84.03%，能耗仅为 21 mJ / 视频，这是在直接训练的深度 SNN 中的最新技术水平，显示出相对于以前的模型的显著优势。

    Jun, 2024

  • 医疗图像分割的多模态信息交互

    通过引入创新的多模态信息交叉变换器（MicFormer），本研究在多模态图像任务中成功整合不同模态之间的相关信息，显著提高了分割性能，表明 MicFormer 在多模态图像任务中具有广泛的应用潜力。

    Apr, 2024

  • ActNetFormer：半监督视频动作识别的 Transformer-ResNet 混合方法

    提出了一种使用跨体系伪标签与对比度学习的半监督行为识别方法，其中结合 3D 卷积神经网络（3D CNN）和视频变换器（VIT）的独特方法能够有效捕捉行为的局部和全局上下文信息，从而在标记数据的一小部分情况下实现了卓越的性能。

    Apr, 2024

  • VoxFormer：基于摄像机的稀疏体素变换器用于三维语义场景完成

    本论文提出了一种基于 Transformer 的场景语义补全框架 VoxFormer，可以从 2D 图像中输出完整的 3D 体素语义，并在测试中获得了相对 20% 的几何和 18.1% 的语义方面的提升。

    Feb, 2023

  • AVSegFormer: 基于 Transformer 的音视频分割

    本文提出了一种基于 transformer 架构的音视频分割（AVS）框架 AVSegFormer，该框架引入了音频查询和可学习查询，利用注意力机制实现选择性关注有关的视觉特征，并使用中间 mask 损失增强了解码器的监督，有效解决了音视频分割任务中的重要挑战，实验结果表明，AVSegFormer 在 AVS 基准测试中取得了最佳性能。

    Jul, 2023