- 随机储层计算机
该论文研究了随机库容计算机的普适性,证明了具有随机特性的库容计算机是一种普遍的逼近类,并通过两个实际应用示例展示了其在分类和混沌时间序列预测方面相对确定性库容计算机的高性能。
- 迭代幅值修剪作为重整化群:抽奖票假设背景下的研究
本文探讨了深度神经网络(DNNs)的复杂世界,专注于激动人心的 Lottery Ticket Hypothesis(LTH)的概念。LTH 假设在大量的 DNNs 中,较小的可训练子网络(称为 “中奖票”)可以达到与完整模型相当的性能。我们 - 神经振荡器是普适的
介绍了一种抽象的神经振荡器类,证明了神经振荡器是通用的,并可近似于任何时间变化函数之间的映射。这个证明为使用基于振荡器的 ML 系统提供了理论依据。
- 深度卷积网络中归纳偏见的理论分析
本文研究卷积神经网络中的归纳偏差,证明了一定深度下 CNN 可以进行连续函数的逼近以及 CNN 具有吸收长距离稀疏相关性的能力,并通过对称性分析证明权重共享与局部性对学习的重要性。
- 普适性的玩具模型:逆向工程网络如何学习群操作
通过数学表示理论,我们研究了神经网络如何学习计算群组合,发现使用我们提出的新算法,网络可以完全表示广泛的线路和特征,但对于给定的网络,学习的特定线路以及它们的顺序是任意的。
- Ludii 游戏描述语言的通用性
本文介绍了不同的游戏描述语言(GDLs),展示了 Ludii 通用游戏系统可以表示任何有限、确定、完全可观的游戏的等效游戏,并将其扩展为包括有限的非确定性和不完美信息游戏,从而证明了其通用性。
- ACL通用信息提取的统一结构生成
本文提出了一种名为 UIE 的统一文本到结构生成框架,可通用地模拟不同的信息提取任务,通过基于模式的指示器机制自适应生成目标结构,并通过大规模的预训练文本到结构模型捕捉共同的信息提取能力。实验结果显示,UIE 在四个 IE 任务、13 个数 - ICLR关于通用彩票券的存在
本文证明了稀疏子网络(所谓 “奖券假设”)不仅存在于深度神经网络中,而且它所具有的普适性无需进行进一步训练,这一理念可通过本文提出的剪枝推导和显式稀疏结构的方式予以证明。
- 利用深度学习探测相对论重离子碰撞中的临界性
利用普适性原理,我们可以将基于 3D Ising 模型的临界相关性嵌入到重离子碰撞的模拟数据中,从而通过动态边卷积的点云网络实现对具有临界波动的事件的识别和决策。
- 通用等变多层感知机
本文探讨了利用群论的工具证明了广泛类的等变多层感知器的普适性,其中在正则作用下拥有隐藏层足以保证等变性,并且给出了具有高阶隐藏层的等变多层感知器的普适性的普适条件。
- 不变 / 等变图神经网络普适性的简单证明
本文提出了一种基于图同态模型的简单证明方法,证明了不变和等变张量化图神经网络的普适性和张量化的自然解释,同时解释了该模型与图的连续表示之间的联系。
- ICLR适用于循环神经网络的广义张量模型
本文研究了使用不同非线性激活函数的循环神经网络(RNNs)的理论效率,表明它们也具有普适性和深度效率的特性,并通过计算实验证实了这一理论结果。
- ICML不变网络的普适性研究
本研究探讨了群变换对神经网络中的线性层进行限制是否可以使其逼近任意(连续)不变函数,结果表明高阶张量可以实现该功能,且存在一些群需要高阶张量才能实现,研究得出了只使用一阶张量的 G 不变网络普适性的必要条件。
- 为迁移学习学习更通用的表示
本文提出两种方法,并基于多元化训练问题提出了一种统一框架来改善普适性,同时提出了新的评估普适性的指标,并运用转移学习方案,在 10 个问题上验证了其效果与价值。
- 量子网络的理论框架
本文基于量子组合和链接积的概念,提出了一种处理量子网络及其所有可能变换的框架,包括量子态、测量、信道的克隆、识别、估计和重构等。从构造性和公理性两个角度研究了量子网络,并证明了其量子记忆信道的普适性。