ACLFeb, 2022

MSCTD: 一种多模态情感聊天翻译数据集

PDF
TL;DR本研究介绍了一项名为 Multimodal Chat Translation (MCT) 的新任务，旨在通过与对话历史和视觉上下文相关联的信息来生成更准确的翻译。为此，构建了一个 Multimodal Sentiment Chat Translation Dataset (MSCTD)，并建立了多个基线系统，实现了基于情感的各种特征多模式融合。初步实验证实了人工智能上下文多模式融合和情感因素对 MCT 任务的积极影响，为多模式聊天翻译和多模式对话情感分析的研究提供了可能性。
发现论文，激发创造
  • 大型语言模型与以文本为中心的多模态情感分析：调查

    与传统情感分析相比，多模态情感分析需要同时考虑来自多模态源的情感信号，它更符合人类在现实场景中处理情感的方式。本文综述了近期文本为中心的多模态情感分析任务中的研究，审视了大型语言模型在文本为中心的多模态情感分析中的潜力、方法、优势和局限性，总结了基于大型语言模型的多模态情感分析技术的应用场景，并探讨了未来多模态情感分析的挑战和潜在研究方向。

    Jun, 2024

  • 神经聊天翻译的多任务多阶段转移训练框架

    本论文旨在研究神经聊天翻译 (NCT)，针对已有上下文感知机器翻译模型存在的问题，提出了一种多任务多阶段过渡 (MMT) 训练框架，采用双语聊天翻译数据集和额外的单语对话训练 NCT 模型，并引入话语一致性和说话人特征建模。训练过程包括三个阶段，通过逐步转换单语为双语对话，MMT 能够有效地缓解训练阶段的差异并提高翻译效果。

    Jan, 2023

  • 神经对话翻译的多任务学习调度

    该研究提出了一种基于多任务学习的计划框架以有效提升神经聊天翻译（NCT）的翻译质量，通过加入第二个预训练阶段和调度对话相关辅助任务的方法将大规模领域内的聊天翻译数据融入训练，进一步提高了主要聊天翻译任务的效果。经实验证明，该方法在四个语言方向上都表现出优异的性能，同时该研究已经公开了大规模领域内配对的双语对话数据集。

    May, 2022

  • 面向多模态同时神经机器翻译

    提出了一种多模式神经机器翻译方法，即多模式同时翻译 (MSNMT)，能够在翻译过程中利用视频信息和实现实时多语言理解。实验证实，该方法可显著提高翻译效率，特别是在低延迟情况下，比单纯文本的模型更加优秀。此外，我们通过对 MSNMT 的对抗性评估研究发现了视频信息在解码过程中的重要性，并分析了源语言和目标语言之间不同的单词顺序对翻译结果的影响。

    Apr, 2020

  • MELD-ST：一种情感感知的语音翻译数据集

    本文强调在语音翻译中考虑情感的重要性，并介绍了 MELD-ST 数据集，该数据集用于情感感知的语音翻译任务，包括英至日和英至德语言对。每个语言对都包含约 10,000 个用 MELD 数据集进行情感标注的话语。对数据集使用 SeamlessM4T 模型进行基线实验发现，在某些情况下，通过加入情感标签进行微调可以提高翻译性能，进一步突显了情感感知语音翻译系统需要进一步研究的重要性。

    May, 2024

  • 社交媒体上的多模式聊天数据集

    探索利用图片等多模态语境来改善对话系统，使用自然语言数据集 MMChat，通过人工筛选和过滤得到 MMChat-hf，利用注意力机制改善生成任务的稀疏性，结果表明引入图片特征的有效性和处理稀疏性的效力。

    Aug, 2021

  • 多模态机器翻译调查：任务、方法与挑战

    多模态机器翻译是近年来引起学术界和工业界广泛关注的研究领域，本文通过综述先前的 99 项研究工作，全面总结了主要模型、数据集和评估指标，分析了各种因素对模型性能的影响，并讨论了未来该领域的研究方向。与之前限制在早期多模态机器翻译的调查不同，我们的调查从不同角度深入总结了这些新兴类型，以便为研究人员提供对目前研究状况的更好理解。

    May, 2024

  • 方言阿拉伯语 UGT 情感翻译的半监督方法

    本研究旨在改进方言阿拉伯语写作的在线用户生成文本的机器翻译，在 DA-EN UGT 领域使用一种半监督语言模型，结合监督和非监督建模目标，测量了推荐系统的情感翻译准确性，结果显示半监督 MT 系统有效改善了方言阿拉伯语 UGT 的情感翻译错误。

    Oct, 2022

  • MELD：情感识别对话中的多模态多方数据集

    提出了一个多模态的语音情感对话数据集 MELD，包含超过两个演讲者的大规模多模态多方情感对话，并且证明了情境和多模态信息对会话中的情感识别的重要性。

    Oct, 2018

  • M3TCM：面向动机访谈中话语分类的多模态多任务上下文模型

    M3TCM 是一种多模态、多任务的上下文模型，通过多任务学习有效地建模治疗师和客户行为的共同和个体组成部分，并整合了文本、语音模态以及对话上下文的信息，相对于最新推出的 AnnoMI 数据集，我们的创新方法在客户和治疗师话语分类方面的性能提升达到 20% 和 15%。

    Apr, 2024