Mar, 2018

通用卷积和循环网络在序列建模中的实证评估

PDF
TL;DR本文通过系统评估普遍用于序列模型的通用卷积和循环神经网络架构，研究了应该选择哪种架构。结果表明，简单的卷积神经网络优于经典的循环网络，同时具有更长的有效内存。因此，序列建模与循环神经网络的通常联系应该被重新考虑，卷积网络应该被视为序列建模任务的自然起点。
deep learningsequence modelingconvolutional architecturesrecurrent networkslstms
发现论文，激发创造
  • 长期循环卷积网络用于视觉识别和描述

    研究比较深度卷积网络和带有循环结构的深度卷积神经网络的效果，针对视频识别、图像描述、检索以及视频叙事方面的问题，开发出一种新颖的循环卷积架构，该架构可以训练端到端，可以同时学习时间动态和卷积感知表示，并具有学习长期依赖性的能力。实验结果证明，循环卷积模型在识别或生成方面与现有的模型相比具有明显的优势。

    Nov, 2014

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 卷积序列到序列学习

    利用卷积神经网络架构完全替代了循环神经网络的流行序列到序列学习方法，运用门控线性单元简化了梯度传播，为每个解码器层装备了单独的注意力模块，在 GPU 和 CPU 上取得了比 Wu 等人（2016）更高的准确性和十倍以上的速度。

    May, 2017

  • 结合循环神经网络和卷积神经网络进行关系分类

    本文针对 SemEval 2010 关系分类任务，研究了两种不同的神经网络结构：卷积神经网络和循环神经网络。我们分别演示了模型不同结构的效果，并提出了一种针对卷积神经网络的新型上下文表示法和针对连接主义双向循环神经网络的排名损失优化方法。最后，我们展示了使用简单投票方案将卷积神经网络和循环神经网络结合起来可以提高结果的准确性。我们的神经模型在 SemEval 2010 关系分类任务上获得了最先进的结果。

    May, 2016

  • 任务驱动的卷积循环视觉系统模型

    通过引入前馈卷积神经网络与反馈式局部循环连接设计，提高图像识别准确性，更加贴近灵长类动物视觉系统的神经活动，为当代物体识别任务的研究提供了新的思路。

    Jun, 2018

  • 时间序列预测深度学习架构的实验综述

    本文研究旨在回顾深度学习在时间序列预测方面的应用，并比较其性能，结果表明长短时记忆网络（LSTM）和卷积神经网络（CNN）是最佳选择，其中 LSTM 获得最准确的预测结果，而 CNN 在不同参数配置下能够实现可比较的性能和更高的效率。

    Mar, 2021

  • 门控循环神经网络在序列建模中的实证研究

    本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

    Dec, 2014

  • 快速准确的循环神经网络语音识别声学模型

    该论文介绍利用深度 LSTM 循环神经网络、CD 电话建模、帧叠加与减少帧率等技术来提高语音识别准确率的研究，并探讨了直接输出单词的 LSTM RNN 模型的初步结果。

    Jul, 2015

  • 深度学习不同体系结构在双序列分类任务中的实证评估

    本文通过 19 种不同的深度学习架构对自然语言处理中争议挖掘、文本蕴含和问答等多种问题进行了广泛的经验评估，特别针对如何处理上下文的方式进行了大量实证研究，对该类问题提供了深入的见解和结论，并为三项争议挖掘任务建立了深度学习基线。

    Jul, 2016

  • 深度学习模型综述与比较分析：CNN、RNN、LSTM、GRU

    本文综述了不同类型的深度学习模型，包括卷积神经网络、循环神经网络、生成模型、深度强化学习和深度迁移学习，探讨了它们的结构、应用、优点和局限性，并使用 IMDB、ARAS 和 Fruit-360 三个公共数据集分析了六个著名深度学习模型的性能差异：CNN、Simple RNN、LSTM、双向 LSTM、GRU 和双向 GRU。

    May, 2023