本文提出了一种新的神经网络模型，其中每一层与一组候选映射相关联，通过顺序决策过程选择映射。该模型的结构类似于 DAG，能够学习一组本地变换，从而增强了该模型相对于经典的多层网络的表达能力。使用来自强化学习领域的策略梯度技术的学习算法，替代了传统的反向传播梯度下降技术。实验表明，这种方法具有很强的实用性。

Oct, 2014

隐式深度学习预测规则推广了前馈神经网络的递归规则。这种规则基于涉及单个隐含特征向量的不动点方程的解，因此只是隐式定义的。隐式框架极大地简化了深度学习的符号表示，并在新体系结构和算法、稳健性分析和设计、可解释性、稀疏性和网络架构优化等方面开辟了许多新的可能性。

Aug, 2019

通过 DAG-DNN 框架的分解结构，能够将深度神经网络的所有函数分别应用在网络的子结构中，从而实现系统性地结构修剪，进一步得出了基于交错方阵的网络修剪方法。

Jun, 2023

该文提出了一种名为 “可解释的几何深度网络” 的端到端学习方法，用于在高维数据中实现精细的可解释性，例如神经成像和神经科学研究。该方法采用学习解释性因素来增强鉴别性表示提取，以实现可解释的预测和分类结果。

Jan, 2023

深度运算符网络 (DepthONets) 是一类学习函数空间之间映射的神经运算符，最近已被发展成为参数化偏微分方程 (PDEs) 的替代模型。本文提出了一种增强导数的深度运算符网络（DE-DepthONet），利用导数信息提高预测精度，尤其在训练数据有限时能提供更准确的导数近似。DE-DepthONet 将输入的维度降低到 DepthONet，并在损失函数中引入两种类型的导数标签进行训练，即输出函数相对于输入函数的方向导数和相对于物理域变量的梯度。我们在三个不断增加复杂度的方程上测试了 DE-DepthONet，以证明其相对于普通 DepthONet 的有效性。

Feb, 2024

Topological Deep Learning 解决复杂系统数据处理与知识提取的框架，但目前 Topological Neural Network 研究缺乏统一的符号和语言。本文提供对 TDL 可访问的介绍，并使用统一数学和图形符号比较最近发表的 TNN。通过对 TDL 领域的直观和批判性评估，提取有价值的见解，为未来发展提供激动人心的机遇。

Apr, 2023

利用聚合函数表达的子函数描述构成的有向无环图，深度网络比浅层网络更好地逼近这些函数，因为深度网络可以被设计成具有相同的组合结构，而浅层网络无法利用这一知识，组合性的祝福缓解了维数灾难，而称为良好误差传播的定理允许通过选择适当的范数、平滑度等将有关浅层网络的定理推广到有关深层网络的定理。我们在三个环境中说明了这一点，其中每个通道在深层网络中计算球面多项式、非平滑 ReLU 网络或与 ReLU 网络密切相关的另一种区域函数网络。

May, 2019

提出了一种基于端到端训练的神经网络的方法，该方法通过将黑盒函数的功能与可微分的神经网络进行逼近，以驱动神经网络遵守黑盒函数接口。在推理时，将不可微分的外部黑盒替换为其可微分的估计器，通过此方法，可以在无需中间标签的情况下，训练一个神经网络，从而计算黑盒功能的输入，并且这种综合模型比完全可微分的模型泛化效果更好，并且相对于基于强化学习的方法学习效率更高。

Jan, 2019

探讨当忽略约束项时，深层声明节点的梯度可以被近似，仍然产生全局损失函数的下降方向的条件。

Jun, 2023

提出并实现了完全声明性的神经谓词的通用框架，从而扩展到完全声明性的 NeSy 框架。首先证明声明性扩展在保持学习和推理能力的同时，能够在仅通过单个查询类型进行训练的情况下回答任意查询。

May, 2024