Mar, 2018

多任务强化学习的端到端视频字幕生成

PDF
TL;DR该论文提出了一种多任务强化学习的方法，用于训练端到端视频字幕生成模型，其主要思想是从人工字幕视频中挖掘并构建尽可能多的有效任务，以共同调节端到端神经网络的搜索空间，并得到泛化的视频字幕生成模型。实验结果表明，这种模型在两个基准视频字幕数据集上的表现都大大优于现有方法。
end-to-end learningvideo captioningmultitask reinforcement learningneural networkcomputer vision
发现论文，激发创造
  • 端到端视频字幕生成

    本文提出了采用端到端训练的方法来实现视频描述生成，并在微软研究视频描述数据集 (MSVD) 和微软视频到文本数据集 (MSR-VTT) 上取得了最新的最优表现。

    Apr, 2019

  • 端到端密集视频字幕生成

    本文提出一种联合建模的方法，将稠密视频字幕的两个子任务共同作为一个序列生成任务，同时预测事件和相应的描述，并使用 YouCook2 和 ViTT 的实验结果表明了该方法的可行性和在大规模预训练模型中集成端到端密集视频字幕等复杂任务中的适用性。

    Apr, 2022

  • 基于分层强化学习的视频字幕生成

    本文提出了一种新颖的分层强化学习框架，用于视频字幕生成，该框架让高级管理器模块学习设计子目标，低级工作模块识别基本动作以实现子目标，实验证明我们的方法在细粒度视频字幕生成方面优于其他基线方法，并在已广泛使用的 MSR-VTT 数据集上达到了最佳效果。

    Nov, 2017

  • 使用视频和蕴含生成的多任务视频字幕生成

    通过多任务学习模型，结合无监督视频预测和语言蕴涵生成任务，共享参数学习提取更丰富的视频编码器表示和更好的视频 - 标题解码器表示，显著提高视频字幕生成的性能，达到了多个标准数据集的最新水平。

    Apr, 2017

  • 一种有效的端到端建模方法用于发音错误检测

    本研究采用 E2E 模型中的混合 CTC-Attention 方法，并针对中文发音检测任务进行了输入扩充，使结果更加适合该任务。实验结果表明，与传统的混合 DNN-HMM 系统相比，该方法能够大大简化处理流程并显著提高性能。

    May, 2020

  • 利用强化学习重建和表示视频内容以进行字幕化

    本研究提出了一种新颖的编码器 - 解码器 - 重构器结构（RecNet）修复网络，通过双向流的运用，从本地和全局的角度，利用先前生成的解码器隐藏状态序列，高效地重构视频特征 ，并通过增强学习、CIDEr 优化微调 RecNet 逐步提高视频字幕的性能

    Jun, 2019

  • 基于深度强化学习的图像字幕生成及嵌入奖励

    本文介绍了一种新的图像字幕生成框架，利用决策制定的方式，使用多种神经网络和加强学习算法协同生成字幕，并在 Microsoft COCO 数据集上表现良好。

    Apr, 2017

  • 超越短视频片段：基于协作记忆的端到端视频级学习

    通过采用协作存储机制，对视频的多个采样片段进行编码，实现对长期空间依赖关系的学习，以此提高视频分类的准确性和动作识别的性能，并在多个任务和数据集上超越了最先进的表现。

    Apr, 2021

  • 序列到序列 -- 视频到文本

    该文章介绍了一种基于序列到序列模型和 LSTM 的视频描述方法，利用时间结构，将视频帧序列与单词序列相关联来生成视频描述，同时该模型能够学习视频帧的时间结构和所生成句子的语言模型。

    May, 2015

  • 简化密集视频字幕生成

    本文提出了一种新颖的密集视频字幕框架，它通过显式建模视频中事件的时间依赖性并利用先前事件的视觉和语言上下文来实现连贯的叙述。该框架由事件序列生成网络和序列视频字幕网络组成，后者利用强化学习进行训练，并在事件和剧集两个级别上进行两级奖励以实现更好的上下文建模。在大多数指标上，该方法在 ActivityNet Captions 数据集上取得了出色的表现。

    Apr, 2019