Jan, 2024

语音 Swin-Transformer: 探索一种具有平移窗口的分层 Transformer 用于语音情感识别

PDF
TL;DR该研究提出了一种基于分层性 Speech Swin-Transformer 的声音情感识别方法，通过分级的窗口聚合多尺度情感特征，将 Transformer 的感知范围从帧级扩展到片段级，实验结果表明该方法优于现有的技术。
swin-transformerspeech signalsemotion featuresspeech emotion recognitionhierarchical speech representation
发现论文，激发创造
  • Swin Transformer: 使用偏移窗口的分层视觉 Transformer

    本文提出了一种新的视觉 Transformer，称为 Swin Transformer，它在计算机视觉领域中作为通用骨干具有很强的能力，包括图像分类和目标检测。Swim Transformer 的层次设计和移位窗口方法对于所有多层感知器架构也证明是有益的，并且模型和代码是公开的。

    Mar, 2021

  • DWFormer: 动态窗口变换器用于语音情感识别

    本研究提出了一种基于动态窗口的变压器架构 DWFormer，通过自注意机制动态划分样本窗口，捕捉语音本地的精细的时间重要信息，并考虑窗口间的全局信息交互，实现了在情感识别方面的前沿突破。

    Mar, 2023

  • Swin-Free：采用窗口大小变化实现更好的跨窗口关注和效率

    本研究旨在提高计算机视觉中 Transformer 模型的精度和效率，通过在 Swin Transformer 模型中引入可变大小的窗口来实现本地窗口之间的交叉连接，以提高模型准确性和速度。

    Jun, 2023

  • Swin Transformer 面部表情识别

    本论文通过引入 Swin transformer，提出一种融合视觉、时间和音频模态的多模态方法用于自然环境下的面部表情识别，并在 Aff-Wild2 数据集上进行了实验证明其有效性。

    Mar, 2022

  • 基于增强的 Swin Transformer 及本地 - 全局特征的交替聚合的图像超分辨重建网络

    本论文通过交替聚合局部全局特征，引入了位移卷积实现局部空间信息和通道信息的交互，并提出了块稀疏全局感知模块以进一步实现空间和通道信息的交互。同时，引入了多尺度自注意模块和低参数残差通道注意模块，实现了不同尺度上的信息聚合。在五个公开数据集上验证了提出的网络，在超分辨率方面超过了其他最先进的网络。

    Dec, 2023

  • MSW-Transformer: 多尺度平移窗口变换网络用于 12 导联心电图分类

    提出了一种称为 MSW-Transformer 的单层 Transformer 网络，它使用多窗口滑动注意机制在不同尺度上捕获不同维度的信号特征，进而进行心电图分类诊断，该模型在 5 项分类任务中均取得了最先进的表现。

    Jun, 2023

  • 利用 Swin Transformer 进行局部到全局弱监督语义分割

    近年来，计算机视觉领域中的弱监督语义分割使用基于图像级标签的监督引起了广泛关注。本研究探索了使用 Swin Transformer 的 'SWTformer' 来提高初始种子 CAMs 的准确性，通过结合局部和全局视角。

    Jan, 2024

  • 言语情感识别的变压器时代黎明：缩小情绪价值差距

    对几种预训练模型，fine-tuned 在情感词汇维度上，作者探究了模型大小、预训练数据、泛化能力、鲁棒性、公平性和效率等方面。结果发现，transformer-based architectures 在 SER 领域表现优越，特别是在情感预测方面。

    Mar, 2022

  • 多麦克风语音情感识别采用分层令牌－语义音频 Transformer 架构

    研究探索多麦克风信号处理以提高情感分类准确性，并通过采用分层令牌语义音频变换器模型在现实环境中的测试，获得优越的性能。

    Jun, 2024

  • SpeechFormer++：一种用于泛语言学语音处理的层次化高效框架

    本文提出了 SpeechFormer++ 框架，以一种能够有效处理语音的方式来使用 Transformer 技术进行语音处理，实现了在情感识别、抑郁症分类和阿尔茨海默病检测等领域超越当前最先进方法的结果。

    Feb, 2023