用无向神经网络模拟结构
本文提出了一种基于双向完全图的 YNN 模型,可以更好地模拟神经网络,并消除了传统人工神经网络存在的结构性偏差。通过引入辅助稀疏性约束,YNN 模型可促进连接分布集中于关键连接。最后,还设计了基于最小割技术的小型神经模块结构,以减少 YNN 模型的计算负担。
Jun, 2023
提出了一种将概率图模型和深度学习相结合的模型框架,通过将神经网络用于观测模型,提高了潜在变量的图形结构;针对推断,使用了可视化的自编码器,利用识别网络输出共轭潜力的图形模型近似分布;所有的这些模型组件都是同时学习的,从而得到了一种可扩展的算法,利用了随机变分推断、自然梯度、图形模型信息传递和重参数化技巧。此模型框架的示例模型和应用程序向小鼠行为表型学方法提出了有效的解决方案。
Mar, 2016
本文研究了神经网络在模拟神经电路的结构和功能方面的表现,通过对啮齿动物和果蝇的头部定向系统进行的研究,证明了神经网络可以自然地产生指南针神经元和移位器神经元等不同类别的神经元,其结果表明,人工神经网络可用于在神经活动和解剖组织层面上研究大脑。
Dec, 2019
本文提出了针对无向模型的黑盒学习和推理算法,通过使用变分逼近模型 log-likelihood 的上界优化算法,其中重要的是由灵活神经网络表达的 log-partition 参数化函数上界。我们的算法可加速采样,训练广泛类别的混合有向 / 无向模型,并在多个流行生成建模数据集上验证了其有效性。
Nov, 2017
本文研究了如何将更丰富的结构分布用于深度神经网络中的嵌入式分类推理,通过两种不同的结构注意力网络:线性链条件随机场和基于图形的解析模型的实验,展示了这些结构的注意力网络超过了基线的注意力模型在各种合成和真实任务中的表现。
Feb, 2017
通过研究某些生成式分层模型,本文引入了 U-Net 架构的新解释,它是一种在语言和图像领域广泛使用的树状结构图模型。我们演示了 U-Net 如何自然地在这些生成式分层模型中实现置信传播去噪算法,并以此高效逼近去噪函数。此外,我们讨论了这些发现对生成式分层模型中扩散模型的更广泛影响,还证明了卷积神经网络 (ConvNets) 的传统架构在这些模型中非常适合分类任务,从而突显出生成式分层模型在语言和图像领域中建模复杂数据分布的多功能性。
Apr, 2024
本文提出了一种新的神经网络模型,其中每一层与一组候选映射相关联,通过顺序决策过程选择映射。该模型的结构类似于 DAG,能够学习一组本地变换,从而增强了该模型相对于经典的多层网络的表达能力。使用来自强化学习领域的策略梯度技术的学习算法,替代了传统的反向传播梯度下降技术。实验表明,这种方法具有很强的实用性。
Oct, 2014