Jun, 2024

优化循环网络拓扑结构的动力系统重构

PDF
TL;DR动态系统重建中的几何修剪可以减少参数负荷，而不显著影响质量，其结果网络具有特定类型的拓扑结构，优于其他研究中的小世界或无标度网络拓扑。
dynamical systems reconstructionparameter pruninggeometric pruningsparse topologygenerative modeling
发现论文，激发创造
  • 神奇的权重及其搜索方法：如何在动态稀疏训练中进行裁剪

    本论文主要研究动态稀疏训练中修剪准则的影响，发现在低密度环境下，最优性能主要取决于最简单的技术：基于大小的修剪。

    Jun, 2023

  • 从复杂动力学推断网络拓扑

    本文提出了一种从动力学观测中推断网络拓扑结构的简单直接方法，能够适用于任意网络动力学系统，基于对观察到的动态轨迹得到网络连接拓扑结构的解析解。

    Jul, 2010

  • 从贝叶斯稀疏到门控循环神经网络

    本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

    Jun, 2017

  • 通过雅可比谱评估一次性剪枝递归神经网络

    这篇论文通过引入一种基于循环雅可比谱的新的循环网络修剪目标，提出了一种高效数据、易于实现的处理方案，能够解决循环网络修剪中的定量和定性问题，并在连续 MNIST、十亿词、Wikitext 等任务中取得了长足进展。

    Nov, 2019

  • 自动语音识别的动态稀疏神经网络

    本文介绍了动态稀疏神经网络 (DSNN) 技术，该技术能够在训练后根据需要在运行时即时切换到任何预定义的稀疏度配置，有效地解决了自动语音识别 (ASR) 等场景中硬件资源限制和延迟要求不同的问题，实验结果表明，DSNN 模型的表现与单一稀疏度网络的表现相当。

    May, 2020

  • 动态稀疏重参数化实现深度卷积神经网络的参数高效训练

    介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

    Feb, 2019

  • 深度重连：训练极度稀疏的深度网络

    DEEP R 是一种基于后验随机抽样的算法，可以直接训练稀疏连接的神经网络，可以在标准基准测试任务中训练非常稀疏的前馈和递归神经网络，性能损失很小。

    Nov, 2017

  • 广义教师强制学习混沌动力学

    通过对混沌动力系统进行简单的修改以及与可处理的递归神经网络设计的简单架构重排，可以在低维空间中准确还原动力系统，并在真实世界数据上表现出较高的性能。

    Jun, 2023

  • 利用自然多样性重建传播网络并识别隐藏源

    本研究提出了一种基于压缩感知的框架来重建随机扩散动力学下的复杂网络，并应用到模型和真实网络中。研究表明，从少量二元数据可以实现不均匀交互的全面重建。此外，该方法还可以确定并高度可信地定位隐含的触发扩散过程并在其外部不可访问的源，从而为追踪和控制复杂网络系统中的流行入侵和信息扩散建立了一个范例。

    Jul, 2014

  • 基于最小描述长度原理的网络重建

    从动态或行为数据中重建网络的一个基本问题在于以能够防止过拟合的方式确定最适合的模型复杂度，并生成具有统计合理边数的推断网络。与常见做法 L1 正则化结合交叉验证相比，本文提出了一种基于层级贝叶斯推断和权重量化的非参数正则化方法，该方法能够提高网络重建的准确性，并且不需要事先知道边的数量。特别是在关于大规模物种数量的微生物群落间相互作用网络重建方面，我们展示了该方法的应用，并演示了利用推断模型预测系统干预结果的能力。

    May, 2024