Mar, 2023

DWFormer: 动态窗口变换器用于语音情感识别

PDF
TL;DR本研究提出了一种基于动态窗口的变压器架构 DWFormer，通过自注意机制动态划分样本窗口，捕捉语音本地的精细的时间重要信息，并考虑窗口间的全局信息交互，实现了在情感识别方面的前沿突破。
speech emotion recognitiondynamic window transformerself-attention mechanismiemocapmeld
发现论文，激发创造
  • 语音 Swin-Transformer: 探索一种具有平移窗口的分层 Transformer 用于语音情感识别

    该研究提出了一种基于分层性 Speech Swin-Transformer 的声音情感识别方法，通过分级的窗口聚合多尺度情感特征，将 Transformer 的感知范围从帧级扩展到片段级，实验结果表明该方法优于现有的技术。

    Jan, 2024

  • 超越固定关注窗口：动态窗口视觉变换器

    本文介绍了一种名为动态窗口视觉 Transformer (DW-ViT) 的新型方法，其采用动态多尺度窗口对模型性能的影响进行了探索，并通过对三个数据集的详细性能评估，与相关的最新技术方法相比，DW-ViT 表现出最佳性能。

    Mar, 2022

  • 动态局部关注的可微窗口

    该研究提出了一个新的神经模块 Differentiable Window，它可以用于动态窗口选择，通过不同的方式与 Transformer 架构相集成，可以有效地提高 NLP 任务的效果。

    Jun, 2020

  • 基于方向窗口注意力的医学图像分割

    DwinFormer 是一个层级编码器解码器架构，具有方向窗口（Dwin）注意力和全局自注意力（GSA）用于特征编码，通过在水平、垂直和深度方向分别执行注意力，在输入特征图的这些方向体积中有效地捕捉局部和全局信息，实验证明它在医学图像分割方面优于当前最先进的方法。

    Jun, 2024

  • LOGO-Former: 动态面部表情识别中的局部 - 全局时空变换器

    提出了一种名为 LOGO-Former 的本地全局时空 Transformer，用于解决人脸表情识别中长期依赖问题，将本地和全局特征结合起来，在两个野外人脸表情数据集上取得了有效的识别性能。

    May, 2023

  • 时间建模至关重要：一种新的面向语音情感识别的时间情感建模方法

    本文介绍了一种基于时间的情感建模方法，称为 TIM-Net，它学习来自各种时间尺度的多尺度情境情感表示，并用于提高语音情感识别的性能，实验结果表明 TIM-Net 在六个基准数据集上表现出优异的性能。

    Nov, 2022

  • 使用 EMFORMER 的 CTC 流式自动语音识别的动态延迟

    本文提出一种帧级模型，采用高效增强记忆变压器块和动态延迟训练方法来提高流媒体自动语音识别的性能和降低计算复杂性，通过缓存机制并重复使用结合增强记忆库作为有限历史上下文的补充，以达到更好的性能。实验表明，该模型在 LibriSpeech 数据集上具有较高的性能。

    Mar, 2022

  • 远距离语音识别的自动上下文窗口组合

    本研究探讨了基于深度学习的远程语音识别中，非对称上下文窗口的机制，并提出了一种新的基于梯度分析的自动上下文窗口组合方法，结果表明此方法能够减少冗余帧配置，在混响环境下提供有效的语音识别性能。

    May, 2018

  • FaceFormer：基于 Transformer 的语音驱动 3D 面部动画

    提出了一种基于 Transformer 的自回归模型，称为 FaceFormer，用于声控 3D 面部动画。该模型能够对长时间音频上下文进行编码，并自回归预测一系列动画 3D 面网格。通过自监督预训练语音表示，使得该模型能够成功解决数据稀缺问题。同时，设计了两种有偏的注意机制，并进行为这个特定任务进行优化。大量实验证明，该方法优于现有的最先进技术。

    Dec, 2021

  • DemaFormer：具有能量建模的阻尼指数移动平均变压器用于时序语言基础生成

    时序语言定位是为了找出语义上与自然语言查询相对应的视频片段。该研究提出了一种基于能量的模型框架和 DemaFormer，一种新颖的基于 Transformer 的架构，用于有效地学习时序语言定位。实验证明我们的方法在四个公开的时序语言定位数据集上优于最先进的基线方法。

    Dec, 2023