研究了具有离散权重的人工神经网络中学习过程的优化,提出了一种被称为“鲁棒集合”的新量度来抑制被隔离的配置所困住,并分析了稀有但极度密集和可访问的网络配置区域的存在。为解决此问题,提出了一个算法方案来定义目标,并证明了该算法在从驱动分配的稠密状态中提取信息时的有效性。
May, 2016
提出了一种混合预测方法,将基于知识的模型和机器学习技术相结合,以预测混沌动力系统的演化,并得到了极其令人满意的结果。
Mar, 2018
本研究结合随机神经网络和张量程序的概念,研究了神经网络的收敛性和梯度动态性,在多种不同体系下,从而表明了该框架不仅可以引导更强的高斯过程的设计,而且还可以深入理解现代架构中的SGD动态。
Feb, 2019
本文回顾了最近一系列训练超参数神经网络和学习随机特征的实证结果及其限制性说明,论述了神经网络的理论困境并对其表现出的令人印象深刻的经验结果提出了仍需克服的挑战。
Apr, 2019
本文提出了一种新方法 SRatio,可利用复杂模型(如深度神经网络、增强树、随机森林)的信息对训练数据集进行重新加权,以增强性能较低的简单模型,同时整合中间层探针的概念到我们的方法中,实验结果表明在6个UCI数据集和CIFAR-10中,我们在大多数(27个案例中有16个)情况下都超过竞争对手,并在其余情况下达到最佳表现。此外,我们还进行了进一步的实验,以验证断言并直观理解为什么我们的方法有效。
May, 2019
本篇论文系统地回顾了过去十年中随机特征方面的研究进展,包括算法特点、理论结果、基准测试数据集上的表现、分类预测性能等,并探讨了随机特征与深度神经网络之间的关系,有望成为感兴趣的从业者应用代表性算法和理解理论结果的用户指南,并为这个领域的未来研究方向提供一些启示。
Apr, 2020
本文提出了一种利用随机特征模型作为映射输入Banach空间到输出Banach空间之间算子的数据驱动代用模型的方法,将其视为非侵入式的数据驱动模拟器,提供了其解释的数学框架,并演示了其有效和准确地近似两个物理科学和工程应用中出现的原型偏微分方程非线性参数到解映射的能力:粘性Burgers方程和变系数椭圆方程。
May, 2020
通过在随机网络和训练网络的特征空间中进行比较,我们发现随机网络的特征可以作为评估生成模型的一种代替,而且两种类型的特征可互补使用。
Aug, 2022
权重选择为在资源受限环境中训练小型模型提供一种新的方法,通过从预训练的大型模型中选择一部分权重,将知识迁移到更小的模型上,从而显著提升小型模型的性能并减少训练时间。
Nov, 2023
神经网络的归纳偏见和简单性偏见对于深度学习的成功是重要的,可以通过不同的架构进行控制。
Mar, 2024