提出一种基于神经网络减小秩的 ROM 新方法,在处理对流主导的现象时更好地逼近高保真模型,通过在非线性流域中超减少运算并得到适当的误差界限达到更好的效率。
Sep, 2020
本文研究了基于神经网络的压缩器在处理集中于低维流形上的高维数据(如图像)方面的有效性,同时研究了一个连续时间随机过程的最优熵 - 失真权衡并对比了经典的 Karhunen-Loève 变换的压缩器,结果表明基于神经网络的压缩器在训练采用随机梯度下降的情况下可实现最佳性能。
Nov, 2020
研究了负球面感知器模型中的能量壁垒、简单连接性质和优化动力学,并通过计算和数值模拟表征了解决方案空间的组织结构和转换过程。
May, 2023
论文概述了统计力学方法在神经网络中的应用,重点讨论了感知器结构、训练误差配置和解空间的平均形状等主题。
Sep, 2023
本文研究了二进制和连续的负边缘感知器作为学习随机规则和关联的简单非凸神经网络模型,并探讨了两种模型解决方案的几何学特征。结果发现,即使在高度非约束的情况下,存在大量的极宽、极平的最小值,这有助于提高学习器的泛化性能。
Apr, 2023
通过引入功能规则化到损失函数中,基于二阶总变差准则,提出了一种可以用于通信、编码和学习的深度神经网络优化方法;同时,通过使用自适应节点的非均匀线性样条,可以实现每个神经元的动作编码。
Feb, 2018
本文提出了一种新的无向图嵌入方法,通过建模节点的连边函数,并结合从随机游走中抽样的信息,对图的联通结构进行表达,从而提高了学到的嵌入空间的表现和空间效率。该方法在社交网络、蛋白质相互作用等数据集上均取得了较好的表现。
May, 2017
无需二阶导数信息的最小化问题,通过估计 Hessian 矩阵的方法可以非常有效。然而,传统技术产生的密集矩阵对于大型问题来说是不可行的。有限内存紧凑表示以低秩表示方式表达密集数组,并成为大型确定性问题软件实现的最新技术。我们开发了一种新的紧凑表示方法,通过选择向量进行参数化,并对特定选择的现有公式进行减少。我们展示了紧凑表示在大量特征值计算、张量分解和非线性回归中的有效性。
Mar, 2024
本文提出了一种利用元学习思想和网络压缩技术相结合的方法,以达到在大量数据集上学习稀疏神经表达的目的,并表明与传统的密集神经网络相比,本方法在相同的参数规模下,能够更快地适应一系列未知信号从而使损失更小。
Oct, 2021
本文指出了中间神经表现添加了深度学习网络的灵活性并且在原始输入上具有优势,并阐述了与浅学习者,如卷积内核的神经表现的关系。通过学习低秩的多项式,中间神经表现可以实现比原始输入更少的样本复杂度,并且在神经可切内核的情况下,本文还提出了神经表现不利的限制。
Jun, 2020