ACLMay, 2024

MELD-ST：一种情感感知的语音翻译数据集

PDF
TL;DR本文强调在语音翻译中考虑情感的重要性，并介绍了 MELD-ST 数据集，该数据集用于情感感知的语音翻译任务，包括英至日和英至德语言对。每个语言对都包含约 10,000 个用 MELD 数据集进行情感标注的话语。对数据集使用 SeamlessM4T 模型进行基线实验发现，在某些情况下，通过加入情感标签进行微调可以提高翻译性能，进一步突显了情感感知语音翻译系统需要进一步研究的重要性。
emotionspeech translationmeld-st datasetemotional labelstranslation performance
发现论文，激发创造
  • M-MELD: 一个用于情感识别的多语言多方数据集

    本研究提出 Multilingual MELD（M-MELD）数据集和一种使用序列和对话语境的 DiscLSTM 方法，旨在进行跨语言的情感识别，其计算效率高且表现优于现有文献中大多数单模态文本方法。

    Mar, 2022

  • MELD：情感识别对话中的多模态多方数据集

    提出了一个多模态的语音情感对话数据集 MELD，包含超过两个演讲者的大规模多模态多方情感对话，并且证明了情境和多模态信息对会话中的情感识别的重要性。

    Oct, 2018

  • EMOVIE：一种普通话情感语音数据集及其简单情感文本转语音模型

    本篇论文提供了包括 9,724 个样本的情感语音数据集，并提出了一种名为 EMSpeech 的情感语音合成模型，该模型无需参考音频即可从文本预测情感标签并生成更富表现力的语音。在实验中，作者验证了数据集的有效性，证明了该模型在情感语音合成任务中取得了显著性能。

    Jun, 2021

  • XED: 用于情感分析和情绪检测的多语言数据集

    介绍了一种名为 XED 的多语种细粒度情感数据集，其中包含人工标注的芬兰语（25k）和英语句子（30k），以及其他 30 种语言的预测注释，并使用 Plutchik 的核心情感方法注释该数据集，并添加了中性标签以创建一个多标签多类数据集。使用特定于语言的 BERT 模型和 SVM 进行仔细评估，表明该数据集与其他相似数据集相当，因此是情感分析和情感检测的有用工具。

    Nov, 2020

  • MSCTD: 一种多模态情感聊天翻译数据集

    本研究介绍了一项名为 Multimodal Chat Translation (MCT) 的新任务，旨在通过与对话历史和视觉上下文相关联的信息来生成更准确的翻译。为此，构建了一个 Multimodal Sentiment Chat Translation Dataset (MSCTD)，并建立了多个基线系统，实现了基于情感的各种特征多模式融合。初步实验证实了人工智能上下文多模式融合和情感因素对 MCT 任务的积极影响，为多模式聊天翻译和多模式对话情感分析的研究提供了可能性。

    Feb, 2022

  • 基于形式不可知元学习的数据高效直接语音翻译

    本文提出了一种基于元学习算法采用模态不可知的多任务模型，将源任务 ASR + MT 的知识转移到目标任务 ST 中，以应对 ST 任务短缺数据的问题，该方法在英德和英法语音翻译任务中取得了最新的最佳性能结果。

    Nov, 2019

  • M3ED：多模态多场景多标签情感对话数据库

    该研究提出了一个含有 7 种情感类别的中文多模态多场景多标签情感对话数据集，命名为 M3ED，用于帮助跨文化情感分析与识别，并提供了多模态上下文感知框架（MDI）以进行情感识别。

    May, 2022

  • 评估汉英情感微博文本机器翻译：一份用于情感翻译质量评估的人工标注数据集

    本文关注机器翻译对情感文本的翻译表现，并通过提出的基于多维质量度量的评估框架，对谷歌翻译的输出进行评估。作者发现大约 50% 的机器翻译输出没有保留原始情感，并认为情感承载词和语言现象是这些翻译错误的常见原因。

    Jun, 2023

  • 情感语调在神经机器翻译中的实用性

    通过将语音情感信息集成到神经机器翻译系统中，可以提高翻译质量。

    Apr, 2024

  • 多语言端到端语音翻译

    本文提出了一种简单且有效的多语言端到端语音翻译框架，并证明了其在自动语音识别、机器翻译、一对多翻译以及多对多翻译中的有效性以及相对于双语端到端语音翻译的优势。

    Oct, 2019