CVPRMar, 2018

通过重构过去与现在生成字幕的正则化循环神经网络

PDF
TL;DR本文提出了一种新颖的架构:auto-reconstructor network (ARNet)，它与传统的 encoder-decoder 框架相结合，以端到端的方式生成标题，并采用先前的隐藏状态作为当前状态的输入，来重新构建状态，以帮助 RNN 的长期依赖建模。实验结果表明，我们的 ARNet 在图像标题生成和源代码标题生成任务上的性能都优于现有的编码器解码器模型，并且能显著降低训练和推理过程中标题生成的差异。
auto-reconstructor networkencoder-decoder frameworkcaption generationrecurrent neural networkssource code captioning
发现论文，激发创造
  • 视频字幕重构网络

    本文提出了一种重构网络（RecNet）的架构，该网络利用正反两个方向的流动来进行视频字幕生成，其编码器 - 解码器使用正向流产生编码视频语义特征的句子描述，两种类型的重构器则用于回溯流程并重新生成与解码器生成的隐藏状态序列基于的视频特征。实验结果表明，所提出的重构器网络能够提高编码器 - 解码器模型的性能，并显著提高视频字幕准确性。

    Mar, 2018

  • 图像字幕的循环融合网络

    本文提出了一种使用多个编码器的循环融合网络 (RFNet) 来处理图像字幕生成问题，RFNet 可以利用多个编码器的输出之间的相互作用，生成新的、紧凑而且信息丰富的表示，验证实验表明，RFNet 对于图像字幕生成问题是有效的，并且取得了最新的最好结果。

    Jul, 2018

  • 利用强化学习重建和表示视频内容以进行字幕化

    本研究提出了一种新颖的编码器 - 解码器 - 重构器结构（RecNet）修复网络，通过双向流的运用，从本地和全局的角度，利用先前生成的解码器隐藏状态序列，高效地重构视频特征 ，并通过增强学习、CIDEr 优化微调 RecNet 逐步提高视频字幕的性能

    Jun, 2019

  • 用于生成标题的评论网络

    该研究提出了一种扩展的编码器 - 解码器框架 - 评论网络，通过对编码器隐藏状态进行多次注意力机制的评论步骤来输出思维向量，并将这些思维向量作为解码器中的注意力机制的输入，该框架在图像标题和源代码标题两个任务上表现优于现有的编码器 - 解码器系统。

    May, 2016

  • 使用条件生成式对抗网络改进图像标注

    本文提出了一种基于条件生成对抗网络的图像描述框架，添加了 “辨别器” 网络去逐步判断生成的描述是人类描述还是机器生成的，该算法是通用的，能够提高任何现有的基于 RL 的图像描述框架，实验表明，这种方法在不同的语言评估指标上有一致的改进。

    May, 2018

  • 基于记忆注意力的循环神经网络用于视频字幕生成

    提出了一种记忆注意力循环网络用于视频字幕生成，可以在训练数据中探索词与其各种类似视觉上下文的全谱对应关系，从而实现对每个单词的更全面理解，并提高字幕生成质量。

    May, 2019

  • 掩码非自回归图像字幕生成

    本文提出了一种基于遮码机制的非自回归解码模型，用于生成图像标题。实验结果表明，该模型可以更有效地保留语义内容并生成更多样化的标题。

    Jun, 2019

  • 端到端视频字幕生成

    本文提出了采用端到端训练的方法来实现视频描述生成，并在微软研究视频描述数据集 (MSVD) 和微软视频到文本数据集 (MSR-VTT) 上取得了最新的最优表现。

    Apr, 2019

  • 针对视频字幕的分层边界感知神经编码器

    本论文提出了一种循环视频编码方案，可以发现和利用视频的分层结构，并且改善了电影描述数据集的现有技术结果。

    Nov, 2016

  • 循环事件网络：在时间知识图谱上进行自回归结构推断

    本篇论文提出了一种使用循环事件网络的方法，针对具有时间戳的知识图谱中的推理问题，通过对已知事实的模型化预测未来事件，通过对未来时间戳上的链接预测实现多步推理。

    Apr, 2019