Nov, 2018

How2：一个大规模的多模态语言理解数据集

PDF
TL;DR本研究介绍了 How2，它是一个多模态的指导视频集合，包含英文字幕和社群翻译的葡萄牙语。我们还提出了包括机器翻译、自动语音识别、口语翻译和多模态摘要在内的一些序列到序列的基础模型。通过提供多个多模态自然语言任务的数据和代码，我们希望引导更多关于多模态与语言处理的研究，以获得更加深入的了解。
multimodaltranslationspeech recognitionsummarizationnatural language processing
发现论文，激发创造
  • How2Sign: 一个大规模多模态连续美国手语数据集

    介绍了一个包含 80 多个小时的美国国家手语（ASL）视频及其对应的英文对话、音频和深度信息等多模态和多视角的连续手语数据集 How2Sign，并通过手语者的实验表明利用这个数据集合成的视频能够被理解，同时指出计算机视觉领域需要解决的挑战。

    Aug, 2020

  • How2 视频的多模态抽象摘要

    研究了多源建模摘要提取方法在开放领域视频领域的应用。通过构建一个多源的序列 - 序列模型，集成来自视频和音频文字转写的信息，完成了一个流利的文本摘要，并使用 Content F1 评价指标来度量其语义适当性。

    Jun, 2019

  • BigVideo：一份大规模视频字幕翻译数据集，用于多模式机器翻译

    本研究提出了一个大规模的视频字幕翻译数据集 BigVideo，用于促进多模态机器翻译的研究；在跨模态编码器中引入了对比学习方法，结果表明视觉信息能够显著提高 NMT 模型的性能并帮助消除歧义。

    May, 2023

  • 多模态对人类和机器在翻译和图像字幕中是否有帮助？

    本文介绍了 LIUM 和 CVC 为 WMT16 Multimodal Machine Translation Challenge 开发的系统。我们在单模态数据和多模态数据的基础上，探索了各种比较方法，包括基于短语的系统和使用单模态或多模态数据训练的注意力循环神经网络模型。我们还进行了人类评估，以估计多模态数据对于人机翻译和图像描述生成的实用性。根据自动评估指标 BLEU 和 METEOR，我们的系统在这两个任务中获得了最佳结果。

    May, 2016

  • Seq2Seq2Sentiment: 多模态序列到序列模型用于情感分析

    本文提出了两种新的无监督联合多模态学习表示方法 ——Seq2Seq 模态翻译模型和分层 Seq2Seq 模态翻译模型，并通过 CMU-MOSI 数据集的多模态情感分析实验证明此方法优于基线模型在二模态情感分析方面的 F1 分值提升达 12 个百分点。

    Jul, 2018

  • 多模态大型语言模型综述

    本文探究了多模态语言模型的研究，集成了多种数据类型，如图像、文本、语言、音频和其他异构数据。通过合并各种模态，多模态模型能够更全面地理解和处理多样化的数据，本文旨在促进对多模态模型及其在各领域中的潜力的更深入理解。

    Nov, 2023

  • 视频理解作为机器翻译

    本文介绍了在大规模多模式视频数据集上的自我监督学习的发展；提出了一种基于生成模型的方法，以翻译问题的形式解决了这一问题，并将其应用于多种下游视频理解任务中。结果表明，本方法在性能上优于基于对比度度量学习的方法。

    Jun, 2020

  • 通过视觉和语音进行多模式机器翻译

    本文综述了多模式机器翻译的重要数据资源、评估活动、端到端及管道方法的最新成果，以及在绩效评估方面面临的挑战，并讨论了这些领域未来研究的方向。

    Nov, 2019

  • 为基于理解语境的语言模型收集交互式多模态数据集

    本文介绍了利用自然语言任务进行协作的实体代理模型，发展出了可扩展的数据收集工具，并采集了互动立足语言理解的第一个数据集，以便进一步研究机器模拟人类智能适应新任务与环境的能力。

    Nov, 2022

  • 语言作为媒介：通过仅文本进行多模态视频分类

    通过利用大型语言模型（如 GPT-3.5 或 Llama2）的广泛知识，结合 BLIP-2、Whisper 和 ImageBind 获取的视觉和听觉多模态文本描述，我们提出了一种新的模型不可知方法，用于生成捕捉多模态视频信息的详细文本描述。我们的评估结果表明，这种基于文本描述的方法在视频理解任务中取得了成功，为多模态分类提供了一个有前景的新研究方向。

    Sep, 2023