ACLJun, 2020

基于 Transformer 的联合编码情感识别和情感分析

PDF
TL;DR本文介绍一种基于 Transformer 的联合编码方法，用于情感识别和情感分析，已提交至 ACL20 多模式语言比赛评估。
transformer-based joint-encodingemotion recognitionsentiment analysismultimodal languageacl20 grand-challenge
发现论文，激发创造
  • 利用 Transformer 的调制融合进行语言 - 声学情感识别

    本文提出了基于 Transformer 和调制的两种极具轻量性能却强大的情感识别和情感分析解决方案，通过组合大量数据集的语言和语音输入来挑战、有时甚至超越这一领域的现有技术，并在 IEMOCAP、MOSI、MOSEI 和 MELD 数据集上评估和验证其性能。

    Oct, 2020

  • 野外情感维度识别的联合多模态变压器

    通过使用多模态 Transformer 架构，全面利用视频中视觉和听觉模态之间的交互和内部依赖关系，以识别音频视觉表情和声音模式，该模型在 Affwild2 数据集上表现出优越性能。

    Mar, 2024

  • 探索应用于紧急呼叫中心语料库的多模态情感识别的注意力机制

    本文探讨了基于 CEMO 数据集的语音和文本预训练模型在情感识别上的融合策略，研究表明基于多模态融合的交叉关注机制实现了更好的表现。同时，实验也表明在 CEMO 上，音频编码包含的情感信息比文本更为丰富。

    Jun, 2023

  • 情感感知的 Transformer 编码器用于共情对话生成

    该研究提出了一种基于情感感知的 Transformer 编码器，用于生成类人的同情回应，将语义和情感方面集成到输入话语中。在 Facebook AI 共情对话数据集的实验中，该模型相比现有方法生成的回应具有更高的 BLEU-4 得分，这表明情感智能的虚拟代理现在已成为现实，并且未来在所有人机接口中都将包括情感作为一种模态。

    Apr, 2022

  • 基于多尺度 Transformer 网络的多生理信号情感识别

    本文提出了一种高效的基于多尺度 Transformer 的方法，用于从生理数据中识别情感，并且利用多模态技术和缩放数据建立内部身体信号与人类情感之间的关系。同时使用高斯变换技术优化信号编码效果，并在 EPiC 比赛的 CASE 数据集上取得了 RMSE 得分 1.45 的好成绩。

    May, 2023

  • 利用情感特征提高情感分类的 Transformer 性能

    介绍了 PVGs AI Club 团队在 WASSA 2022 举办的情感分类共享任务中的方法。使用基于转换器模型的基准，并基于情感特定表示的两个变体，利用集成技术改善了性能，最终达到了情感分类任务的 0.619 的准确度和 0.520 的宏 F1 分数。

    Apr, 2022

  • 利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

    本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

    Dec, 2022

  • 使用预训练转换器进行文本、语音和视频的多模态情绪识别

    通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

    Feb, 2024

  • 面向话题和知识的对话情感检测 Transformer

    本文提出了一种名为 Topic-Driven Knowledge-Aware Transformer 的模型，包含一种话题增强语言模型、基于对话情境信息的常识语句和一种转换器，用于识别情感标签序列中的话题和情感状态。实验结果表明，该模型在对话情感检测方面表现优于现有的最先进方法。

    Jun, 2021

  • 基于统一的 Transformer 网络的多模态情感识别

    本论文提出了一种新颖的统一生物传感器 - 视觉多模态 Transformer 方法（UBVMT），通过将 2D 心电图 / 脉搏波图像与面部信息相结合，用于在唤醒 - 价值空间中对情绪进行分类。实验结果表明，我们的统一 UBVMT 模型与最先进技术相比具有可比较的性能。

    Aug, 2023