Oct, 2014

深度顺序神经网络

PDF
TL;DR本文提出了一种新的神经网络模型，其中每一层与一组候选映射相关联，通过顺序决策过程选择映射。该模型的结构类似于 DAG，能够学习一组本地变换，从而增强了该模型相对于经典的多层网络的表达能力。使用来自强化学习领域的策略梯度技术的学习算法，替代了传统的反向传播梯度下降技术。实验表明，这种方法具有很强的实用性。
neural networkscandidate mappingssequential decision processlocal transformationspolicy gradient techniques
发现论文，激发创造
  • 有向无环图神经网络

    本文提出了一种基于 partial ordering 的神经网络结构 --DAGNN，该结构在 DAG 数据集上的表现优于先前的 DAG 结构和通用图形结构。

    Jan, 2021

  • DAG-DNNs 函数的表示和分解与结构网络剪枝

    通过 DAG-DNN 框架的分解结构，能够将深度神经网络的所有函数分别应用在网络的子结构中，从而实现系统性地结构修剪，进一步得出了基于交错方阵的网络修剪方法。

    Jun, 2023

  • DAG-GNN: 利用图神经网络学习 DAG 结构

    通过引入可变自动编码器的图神经网络模型，本文提出了一个生成模型，这个模型可以自然地处理离散和向量值变量，并通过在合成数据和基准数据集上进行实验，证明了方法的准确性和效果。

    Apr, 2019

  • 面场景标签化的 DAG - 循环神经网络

    本文介绍了使用循环神经网络处理有向无环图结构的图像标注，并结合卷积与反卷积层，使用提出的珍稀类别加权函数增强了局部表示的判别能力，取得了 SiftFlow、CamVid 和 Barcelona 基准测试的最新最佳结果。

    Sep, 2015

  • 深度神经网络结构和超参数优化的算法框架

    本篇论文提出一种基于演化有向无环图的算法框架，自动生成高效的深度神经网络并优化其相关超参数，与已有文献中的搜索空间相比更具灵活性，能优化网络的结构和超参数，已经在时间序列预测基准测试中得到了实验结果的验证。

    Feb, 2023

  • 基于梯度的神经 DAG 学习

    本文提出了一种基于得分的方法，利用神经网络在连续约束优化理论的基础上，允许处理变量之间的非线性关系，用于学习有向无环图，相对于其他连续优化方法，这种方法在很多任务上表现更好，在因果推断的重要度量上与现有的贪婪搜索方法相比具有竞争力。在合成存储和真实世界数据集上进行了试验。

    Jun, 2019

  • 带完全有向图的网络神经网络

    该论文介绍了一种新的神经网络模型，通过将网络结构化为一个完整的有向图，为每个时间步骤处理连续数据，更加密切地模拟生物大脑。该模型通过在神经元连接中引入循环并消除其他网络层中常见的顺序性质，添加了额外的结构特性。此外，该模型具有连续的输入和输出，受到脉冲神经网络的启发，使得网络能够学习分类过程，而不仅仅返回最终结果。

    Jan, 2024

  • 基于 DAG-CNN 的多尺度识别

    使用 DAG-CNN 的多尺度卷积神经网络探索了多尺度特征提取，并在三个场景基准测试中展现了最新的最佳分类性能。

    May, 2015

  • 结构化递归神经网络：时空图上的深度学习

    本文提出了一种结合高级时空图和序列学习成功的递归神经网络（RNN）的方法，通过将任意时空图转化为丰富的 RNN 混合物来提高模型性能，适用于模拟人类运动到对象交互等多种问题领域。

    Nov, 2015

  • 循环神经网络

    通过仿生智能 (BI) 中神经元形成复杂的图结构网络的启示，引入了突破性的循环神经网络（Cyclic NNs），模拟生物神经系统灵活和动态的图结构特性，允许神经元之间以包括循环在内的任意图状结构连接，相较于当前 ANN 的有向无环结构，具有更高的适应性。进一步基于这一新设计范式开发了 Graph Over Multi-layer Perceptron，是第一个详细的基于该设计范式的模型。通过在广泛测试数据集上进行实验证实了 Cyclic NN 在大多数常见情况下的优势，并通过使用前向 - 前向（FF）训练算法证明其优于当前 BP 训练方法。本研究展示了一种全新的 ANN 设计范式，与现有 ANN 设计有显著区别，有望引领更符合生物学可行性的人工智能系统。

    Jan, 2024