May, 2017

卷积序列到序列学习

PDF
TL;DR利用卷积神经网络架构完全替代了循环神经网络的流行序列到序列学习方法，运用门控线性单元简化了梯度传播，为每个解码器层装备了单独的注意力模块，在 GPU 和 CPU 上取得了比 Wu 等人（2016）更高的准确性和十倍以上的速度。
sequence to sequence learningconvolutional neural networksgated linear unitsattention mechanismtranslation
发现论文，激发创造
  • 神经网络序列到 序列学习

    本文提出了一种基于深度神经网络（DNN）的序列学习方法，使用多层长短时记忆（LSTM）解码目标序列并展现了其在英法翻译任务中优于传统短语模型翻译的成果，同时还发现调整源语句中单词的顺序可以有利于优化问题的解决。

    Sep, 2014

  • 全局关注：用于序列到序列预测的二维卷积神经网络

    通过使用基于卷积神经网络而非 encoder-decoder 结构的方法，每一层在输出序列上重新编码源标记，我们的模型在参数更少的情况下表现出色，优于现有的机器翻译系统。

    Aug, 2018

  • 神经机器翻译卷积编码器模型

    本文提出了一种基于卷积层的神经机器翻译框架，相比双向 LSTM 网络，该框架可以同时编码整个源语句，从而加速了翻译速度，在 WMT'16 数据集上达到了竞争水平的准确性，并在 WMT'15 和 WMT'14 数据集上取得了优异的结果。

    Nov, 2016

  • 评估序列到序列模型在手写文本识别中的应用

    该研究提出了一种基于注意力机制的序列到序列模型用于手写体识别，其中结合了卷积神经网络进行视觉信息的提取，实验结果表明其相比于最近的序列到序列方法取得了显著提升。

    Mar, 2019

  • 长期循环卷积网络用于视觉识别和描述

    研究比较深度卷积网络和带有循环结构的深度卷积神经网络的效果，针对视频识别、图像描述、检索以及视频叙事方面的问题，开发出一种新颖的循环卷积架构，该架构可以训练端到端，可以同时学习时间动态和卷积感知表示，并具有学习长期依赖性的能力。实验结果证明，循环卷积模型在识别或生成方面与现有的模型相比具有明显的优势。

    Nov, 2014

  • 序列到序列 -- 视频到文本

    该文章介绍了一种基于序列到序列模型和 LSTM 的视频描述方法，利用时间结构，将视频帧序列与单词序列相关联来生成视频描述，同时该模型能够学习视频帧的时间结构和所生成句子的语言模型。

    May, 2015

  • 使用卷积神经网络进行连锁预测

    本文提出一种基于序列到序列模型的视觉任务结构化输出预测方法，该模型使用神经网络，其中每个输出变量依赖于之前预测的输出变量，模型应用于空间定位任务，使用卷积神经网络处理输入图像，并在每个时间步使用多尺度反卷积架构进行空间预测，我们探究了权重共享和权重不共享的效果，并展示了链式预测在单人姿势估计和视频姿势估计方面取得的最佳效果。

    May, 2016

  • 门控卷积网络的语言建模

    本研究提出一种基于卷积神经网络的有限环境文本处理方法，采用新型简化门控机制，具有并行优势和长期学习效应，相比循环神经网络可获得更高的性能和更短的处理时间。在大规模文本任务中取得了领先水平，是非循环方法首次能够与强循环模型竞争。

    Dec, 2016

  • 反卷积段落表示学习

    本研究通过提出一种基于卷积自编码的序列到序列的方法，解决了长文本序列编码与解码时 RNN 存在的问题，同时具有良好的重构和校正能力，适用于自然语言处理中众多应用。在半监督文本分类和摘要生成任务中的定量评估表明，该方法可以更好地利用长篇未标注的文本数据。

    Aug, 2017

  • 卷积序列到序列非侵入式负荷监测

    提出了一种卷积序列到序列的非侵入式负载监测模型，并成功地将其应用于 REDD 数据集来进行电器分解，并与文献中的卷积序列对点模型进行比较。结果表明，该模型能够为具有不同特征的电器提供令人满意的分解性能。

    Jun, 2018