Jun, 2023

多模态注意力融合在孟加拉语言音行为识别中的应用

PDF
TL;DR本文开发了一种多模态方法，结合 wav2vec2.0 和 MarianMT 模型，在 Bengali 语音语料库中使用多模态注意融合预测语音行为，并展示了该模型在语音任务中的优越性能。
speech actsmultimodal approachbengali speech corpusattention-based modelsrhythm of speech
发现论文，激发创造
  • 使用多跳注意力机制的语音情感识别

    该论文提出了一种利用音频和文本信息的语音情感分类方法，使用双向 LSTM 和多跳注意力机制，在 IEMOCAP 数据集上，相对于现有技术，其在加权准确率上提高了 6.5% 的性能。

    Apr, 2019

  • 孟加拉模因和文本的多模态仇恨言论检测

    本文旨在探讨利用机器学习和自然语言处理技术，通过分析包含图像和文本的 Bengali 跨媒体互动，检测恶意言论。我们准备了一个新颖的数据集，并使用双向长短时记忆网络、卷积神经网络、ResNet-152、DenseNet-161、monolingual Bangla BERT、multilingual BERT-cased/uncased 和 XLM-RoBERTa 等多种模型进行了实验，其中 XLM-RoBERTa+DenseNet-161 模型的 F1 得分最高为 0.83。

    Apr, 2022

  • 利用分层注意策略和词级对齐的多模态情感分析

    本文研究了从多个数据来源中学习识别和解释人类情感和主观信息的多模态情感计算问题，提出了一种基于 attention 机制和单词级融合的分层多模态体系结构，以从文本和音频数据中分类识别发言级别的情感和情绪。结果表明，该模型在现有数据集上表现优异。

    May, 2018

  • 基于语音的多模态情感识别中的学习对齐

    本文提出使用注意力机制学习语音帧和文本单词之间的对齐方法，以提高音频 - 文本多模态情感识别的准确性，并在 IEMOCAP 数据集上取得了最先进的性能。

    Sep, 2019

  • 多模态注意力神经机器翻译

    本文将多模态注意力机制应用于图像字幕生成领域，通过在自然语言描述和图像上同时聚焦，实现了一种基于图像字幕的另一种语言描述生成方法，并在 Multi30k 数据集上取得了更好的效果。

    Sep, 2016

  • 多模态信念预测

    识别说话者对信仰的承诺水平是一项困难的任务；我们是第一个推断多模态信仰预测任务并展示结果的研究，使用了包含对齐文本和音频的说话者信仰标注的 CB-Prosody 语料库（CBP）；我们报告了使用声学 - 韵律特征和传统机器学习方法的基线和显著特征；我们还提出了基于 BERT 和 Whisper 的 CBP 语料库微调的文本和音频基线；最后，我们提出了使用 BERT 和 Whisper 的多模态架构，并使用多种融合方法，改善了单独的模态。

    Jun, 2024

  • 端到端音视频语音识别的模态注意力

    该研究提出了一种基于多模态注意力的音视频语音识别方法，该方法使用了最先进的 Seq2seq 架构，基于它们的重要性自动学习了来自两种模态的混合表示，并在不同信噪比下相对于单独的音频模态获得了 2% 到 36% 的提高，相比传统的特征级联方法，在清洁和嘈杂的条件下均能获得更好的识别性能，可以轻松地推广到其他多模态任务中。

    Nov, 2018

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • 对齐先于关注：为多模态仇恨内容检测对齐视觉和文字特征

    提出了一种上下文感知的注意力框架用于多模态仇恨内容检测，对英语和非英语语言进行了评估，并通过对 MUTE 和 MultiOFF 数据集的 F1 分数进行评估，证明了该方法的有效性。

    Feb, 2024

  • 关注融合：一种基于 Transformer 的多模态仇恨言论检测方法

    通过结合音频和文本表征，利用 Transformer 方法和自主开发的 “Attentive Fusion” 层，本研究提出了一种识别言论是否宣扬仇恨的方法，取得了 0.927 的宏 F1 得分，超过了此前最先进的技术。

    Jan, 2024