通过仿生智能 (BI) 中神经元形成复杂的图结构网络的启示，引入了突破性的循环神经网络（Cyclic NNs），模拟生物神经系统灵活和动态的图结构特性，允许神经元之间以包括循环在内的任意图状结构连接，相较于当前 ANN 的有向无环结构，具有更高的适应性。进一步基于这一新设计范式开发了 Graph Over Multi-layer Perceptron，是第一个详细的基于该设计范式的模型。通过在广泛测试数据集上进行实验证实了 Cyclic NN 在大多数常见情况下的优势，并通过使用前向 - 前向（FF）训练算法证明其优于当前 BP 训练方法。本研究展示了一种全新的 ANN 设计范式，与现有 ANN 设计有显著区别，有望引领更符合生物学可行性的人工智能系统。

Jan, 2024

本文提出了一种基于 partial ordering 的神经网络结构 --DAGNN，该结构在 DAG 数据集上的表现优于先前的 DAG 结构和通用图形结构。

Jan, 2021

该论文提出了一种灵活的框架，将因子图和神经网络的代表性强项结合起来，形成了一种能够在任何顺序下执行计算的不定向神经网络（UNNs），并证明了 UNNs 体系结构的有效性，包括树约束依赖关系分析、卷积图像分类和序列完成等任务。

Feb, 2022

该论文介绍了一种新的神经网络模型，通过将网络结构化为一个完整的有向图，为每个时间步骤处理连续数据，更加密切地模拟生物大脑。该模型通过在神经元连接中引入循环并消除其他网络层中常见的顺序性质，添加了额外的结构特性。此外，该模型具有连续的输入和输出，受到脉冲神经网络的启发，使得网络能够学习分类过程，而不仅仅返回最终结果。

Jan, 2024

通过引入可变自动编码器的图神经网络模型，本文提出了一个生成模型，这个模型可以自然地处理离散和向量值变量，并通过在合成数据和基准数据集上进行实验，证明了方法的准确性和效果。

Apr, 2019

本文提出了一种新的神经网络模型，其中每一层与一组候选映射相关联，通过顺序决策过程选择映射。该模型的结构类似于 DAG，能够学习一组本地变换，从而增强了该模型相对于经典的多层网络的表达能力。使用来自强化学习领域的策略梯度技术的学习算法，替代了传统的反向传播梯度下降技术。实验表明，这种方法具有很强的实用性。

Oct, 2014

通过 DAG-DNN 框架的分解结构，能够将深度神经网络的所有函数分别应用在网络的子结构中，从而实现系统性地结构修剪，进一步得出了基于交错方阵的网络修剪方法。

Jun, 2023

本篇论文研究了如何在 Transformer architecture 中注入图形结构偏差以更好地处理基于有向无环图的数据，包括构思了一个有效的注意机制来捕捉 DAG 的结构并提出了一种部分顺序的位置编码方法。作者在实验中证明了这个框架能够改善各种基线 transformers 的效果并使图 transformers 竞争力更强。

Oct, 2022

利用生物树突的结构连接性和受限采样特性，提出了一种新的人工神经网络架构，通过不同的学习策略实现对多个类别的响应，使得树突人工神经网络在图像分类任务中具有更高的鲁棒性和更低的可训练参数数量。

Apr, 2024

本研究提出了一种名为 X-Net 的新型神经网络，通过使用交替反向传播机制，在训练过程中根据导数信息动态选择适当的激活函数，增强网络对特定任务的表示能力。同时，在神经元级别准确调整网络结构以适应不同复杂度的任务和减少计算成本。通过一系列实验，我们展示了 X-Net 在减小模型大小和提高表示能力方面的双重优势。具体而言，就参数数量而言，X-Net 的平均值仅为基准的 3％，某些任务下仅为 1.4％。在表示能力方面，仅通过优化激活函数而不引入任何参数，X-Net 在拟合任务上可以实现平均 R^2=0.985。最后，我们还测试了 X-Net 在社会、能源、环境和航空航天等多个学科的数据上帮助科学发现的能力，并取得了简洁而优异的结果。

Jan, 2024