Jul, 2015

使用基于注意力机制的编码 - 解码网络描述多媒体内容

PDF
TL;DR本文介绍了使用深度神经网络中的递归神经网络和卷积神经网络等措施来实现注意力机制，以解决多元随机变量富含联合分布的结构化输出问题。通过典型任务如机器翻译、图像字幕生成、视频片段描述和语音识别实验，系统展示了很好的性能。
deep neural networksstructured output problemsattention mechanismsgated recurrent neural networksconvolutional neural networks
发现论文，激发创造
  • 理解基于注意力的编码 - 解码网络：以国际象棋记分表识别为例的案例研究

    深度神经网络在学习复杂预测任务方面广泛使用，本文通过研究带有注意机制的编码器 - 解码器循环神经网络，旨在更好地理解这种网络的学习过程。通过对手写棋谱的任务进行表征，并实验性地研究影响学习的因素，我们发现了输入 - 输出对齐、序列模式识别和手写识别之间的竞争、合作和依赖关系。我们认为这些知识有助于更好地平衡因素，以正确训练网络。

    Apr, 2024

  • 端到端视频字幕生成

    本文提出了采用端到端训练的方法来实现视频描述生成，并在微软研究视频描述数据集 (MSVD) 和微软视频到文本数据集 (MSR-VTT) 上取得了最新的最优表现。

    Apr, 2019

  • 基于注意力编码器 - 解码器网络的视频摘要

    本研究提出了一种名为 AVS 的新颖的基于注意力机制的编码器 - 解码器网络框架，该网络框架使用双向 LSTM 和注意力机制对原始视频帧进行编码和关键帧序列进行解码，实现对有监督视频摘要的问题的解决。经测试发现，该方法在 SumMe 和 TVSum 数据集上的表现明显优于现有方法，在两个数据集上分别从 0.8％到 3％都有了显著的提高。

    Aug, 2017

  • 基于注意力的多模态融合视频描述

    本文提出了一种称为多模态注意力的方法，可以针对图像特征、运动特征和音频特征进行选择性关注，以促进视频描述的多模态信息融合，并在 Youtube2Text 数据集上取得了竞争状态 - of-the-art 的结果。

    Jan, 2017

  • 使用双向循环神经网络进行视频描述

    本文提出使用编码器 - 解码器框架，结合卷积和循环神经网络生成视频和图像描述的更高级模型，通过在编码阶段引入对象和位置信息来获得更丰富的图像表示，并引入双向循环神经网络以捕捉输入帧中的正向和反向时间关系。

    Apr, 2016

  • 基于 GRU 注意机制的图像字幕生成的深度神经网络框架

    本研究旨在利用预先训练的卷积神经网络，结合注意力机制和循环神经网络，将图像特征与语言模型相结合，实现图像描述生成。实验结果与现有先进方法相比，具有竞争性的性能。

    Mar, 2022

  • 全局关注：用于序列到序列预测的二维卷积神经网络

    通过使用基于卷积神经网络而非 encoder-decoder 结构的方法，每一层在输出序列上重新编码源标记，我们的模型在参数更少的情况下表现出色，优于现有的机器翻译系统。

    Aug, 2018

  • 针对视频字幕的分层边界感知神经编码器

    本论文提出了一种循环视频编码方案，可以发现和利用视频的分层结构，并且改善了电影描述数据集的现有技术结果。

    Nov, 2016

  • 结构化注意力网络

    本文研究了如何将更丰富的结构分布用于深度神经网络中的嵌入式分类推理，通过两种不同的结构注意力网络：线性链条件随机场和基于图形的解析模型的实验，展示了这些结构的注意力网络超过了基线的注意力模型在各种合成和真实任务中的表现。

    Feb, 2017

  • 评估序列到序列模型在手写文本识别中的应用

    该研究提出了一种基于注意力机制的序列到序列模型用于手写体识别，其中结合了卷积神经网络进行视觉信息的提取，实验结果表明其相比于最近的序列到序列方法取得了显著提升。

    Mar, 2019