MMJul, 2023

级联跨模态变压器对于请求和投诉检测

PDF
TL;DR我们提出了一种新颖的级联跨模态变换器（CCMT），结合语音和文本转录以检测电话对话中的客户要求和投诉。我们的方法利用多模态范例，通过使用自动语音识别（ASR）模型转录语音并将转录成不同语言。随后，我们将语言特定的基于 BERT 的模型与 Wav2Vec2.0 音频特征结合使用在一个新颖的级联交叉注意力变换器模型中。我们将我们的系统应用到 ACM Multimedia 2023 计算言语学挑战赛的请求子挑战中，分别对于投诉和请求类别达到了 65.41％和 85.87％的非加权平均召回率（UAR）。
发现论文，激发创造
  • 音频文本分类的级联交叉模态 Transformer

    利用多模态表示，通过自动语音识别模型转录语音并通过预训练翻译模型将转录文本翻译成不同语言，结合文本和音频特征使用级联交叉模态变压器 (CCMT) 模型来实现语音分类任务，该模型在 ACM Multimedia 2023 计算语音学挑战中获得不错的性能，并在 Speech Commands v2 和 HarperValleyBank 对话数据集上超过了之前的研究成果。

    Jan, 2024

  • 口语客服对话中用户请求和抱怨的预测

    该研究通过使用 HealthCall 数据集，评估了自动预测用户请求类型和检测投诉等两项客户关系管理任务，并探索了 14 种特征集作为输入。结果显示，语言特征总是提供最佳结果，并且 Wav2Vec 2.0 特征似乎比 ComPaRe16 特征更适用于这两项任务。嗓音互动特征在使用仅六个特征时在投诉任务上取得了 57% 的成果。

    Jul, 2022

  • 甩手语识别的跨模态相互学习

    该研究提出了一种基于变压器的跨模态相互学习框架，用于提高 Cued Speech 系统的自动识别性能，并在中文、法语和英语语言中取得了显着的识别性能提升。

    Dec, 2022

  • 通过学习音频 - 文本跨模态上下文表示实现会话语音识别

    通过引入跨模态对话表示，结合预训练的语音和文本模型，扩展 Conformer 编码器 - 解码器模型，我们的方法能够提取更丰富的历史语音上下文，实现较标准 Conformer 模型相对准确度提升 8.8%（HKUST）和 23%（MagicData-RAMC）的结果。

    Oct, 2023

  • 端到端多模态语音识别

    探讨了如何应用视觉通道，以及 Connectionist Temporal Classification (CTC) 和 sequence-to-sequence (S2S) 的方法来提高自动语音识别 (ASR) 的鲁棒性，并比较了两种方法在干净和嘈杂的数据上的效果。

    Apr, 2018

  • 探索应用于紧急呼叫中心语料库的多模态情感识别的注意力机制

    本文探讨了基于 CEMO 数据集的语音和文本预训练模型在情感识别上的融合策略，研究表明基于多模态融合的交叉关注机制实现了更好的表现。同时，实验也表明在 CEMO 上，音频编码包含的情感信息比文本更为丰富。

    Jun, 2023

  • 多模态方法在大型语言模型中的设备导向语音检测

    虚拟助手的交互通常以预定义的触发短语作为开端，我们探索是否可以放弃用户必须以触发短语开始每个指令的要求。通过三种方式进行实验：首先，只使用从音频波形中获得的声学信息来训练分类器；其次，将自动语音识别（ASR）系统的解码器输出，如 1 最佳假设，作为大型语言模型（LLM）的输入特征；最后，探索结合声学和词汇特征以及 ASR 解码器信号的多模态系统。使用多模态信息相对于仅文本和仅音频的模型，在等误差率上可以获得高达 39% 和 61% 的改进。增加 LLM 的规模，并使用低秩适应来进行训练，在我们的数据集上进一步降低了相对误差率高达 18%。

    Mar, 2024

  • 计算与参数高效的多模态融合 transformer 用于示意语音识别

    Cued Speech (CS) 是一种纯视觉编码方法，用于辅助听障人士通过将读唇和手势组合以使口语可见。通过提出一种名为 Economical Cued Speech Fusion Transformer（EcoCued）的计算和参数高效的多模态融合变压器模型，该论文改进了自动 CS 识别（ACSR）的识别准确性和计算效率。

    Jan, 2024

  • 利用声学情景表征通过音频文本跨模态学习用于会话 ASR

    该研究提出了一种音频 - 文本交叉模态表示提取器，通过 attention 机制，将上下文文本表示作为上下文提供给 ASR 解码器，有效地提高了智能语音识别的性能。

    Jul, 2022

  • 基于 Transformer 网络的社交媒体投诉识别

    本研究旨在探索使用最新预训练的神经语言模型与语言信息的组合来自动识别社交媒体投诉。我们评估了一系列以 transformer 网络为基础的神经网络模型，结果表明我们的模型在公开数据集上表现出色，F1 宏平均值高达 87。

    Oct, 2020