针对静态图像的递归神经网络

Sep, 2024

Recurrent Neural Networks for Still Images

Dmitri, Lvov, Yair Smadar, Ran Bezen

TL;DR本研究解决了递归神经网络（RNN）在处理静态图像时的不典型应用，通常该任务由卷积神经网络（CNN）主导。论文提出将像素视为序列来处理图像，并设计了一种新的二维输入RNN结构，尤其适合嵌入式系统。实验结果表明，在COCO和CIFAR100数据集上，这一方法在小型网络中具有更好的性能。

Abstract

In this paper, we explore the application of Recurrent Neural Network (RNN) for Still Images. Typically, Convolutional Neural Networks (CNNs) are the prevalent method applied for this type of data, and more recently, transformers have gained popularity, although they often require larg

发现论文，激发创造

多维递归神经网络

本文介绍了多维循环神经网络 (MDRNNs) 的概念，扩展了循环神经网络 (RNNs) 在视觉、视频处理、医疗影像等领域的应用，同时避免了其它多维模型所面临的缩放问题。笔者提供了两个图像分割任务的实验结果。

May, 2007

深度循环神经网络语音识别

本文研究了将深度网络的多层表示与强大的RNN模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在TIMIT语音识别基准测试中获得了最佳记录得分17.7％。

Mar, 2013

用多模态递归神经网络来解释图像

本文提出了一种基于多模态循环神经网络 (m-RNN) 的模型，实现图像内容的生成式描述，模型包含句子的深度循环神经网络和图像的卷积神经网络两个子网络以及它们的多模态层，经验证在三个基准数据集上的表现优于现有方法, 还可以应用于图像或句子的检索任务，比现有直接优化排名目标函数的方法取得了显著的性能提升。

Oct, 2014

循环神经网络在序列学习中的关键评估

本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM和BRNN等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

卷积分层递归神经网络学习上下文依赖关系

该研究提出了一种基于深度卷积神经网络和分层递归神经网络的图像分类模型，以更好地编码图像区域之间的空间和比例依赖关系，从而取得了在四个具有挑战性的目标/场景图像分类基准测试中最先进的结果。

Sep, 2015

循环空间变换网络

本文研究了如何将最近提出的空间变换网络（SPN）[Jaderberg et. al 2015]集成到递归神经网络（RNN）中，形成一个RNN-SPN模型，用于对杂乱的MNIST序列中的数字进行分类。我们的模型通过对感兴趣的区域进行自适应降采样，从而取得了1.5%的错误率，表现优于使用卷积神经网络或卷积神经网络加上SPN层的方法。

Sep, 2015

基于注意力的RNN模型在计算机视觉中的应用调查

本文探讨使用循环神经网络中 attention 机制解决序列到序列问题的方法，并介绍相关的应用于计算机视觉中的算法并验证其优越性，同时也提出了未来的研究方向。

Jan, 2016

卷积神经网络与循环神经滤波器

使用循环神经网络作为卷积滤波器的卷积神经网络在处理自然语言处理任务时具有更强的合成性和长期依赖性，并在Stanford Sentiment Treebank和两个答案句子选择数据集上取得了与最佳结果相当的效果。

Aug, 2018

递归神经网络是我们所需的一切吗？

本研究解决了变换器在序列长度上的可扩展性限制，通过重新评估传统的递归神经网络（RNN），如LSTM和GRU，提出了一种新方法。通过消除隐藏状态在输入、遗忘和更新门中的依赖关系，研究者展示了简化版本（minLSTMs和minGRUs）不仅参数显著减少，而且训练过程中可以完全并行化，效率提升175倍，并且与最新的序列模型在性能上具有可比性。

Oct, 2024

我们还需要RNN吗？

本研究针对Transformer在序列长度上的可扩展性限制，重新审视传统的循环神经网络（RNNs），尤其是LSTM和GRU。通过去除隐藏状态依赖性，提出了简化版本（minLSTMs和minGRUs），不仅参数显著减少，还能高效地进行并行训练，其性能与近期模型相当，表明传统RNN仍具备潜在价值。

Oct, 2024