expressivity | BriefGPT - AI 论文速递

关键词expressivity

搜索结果 - 83

量子神经网络与感知机之间的等价性
基于参数化量子电路的量子机器学习模型，即量子神经网络 (QNNs)，被认为是最有前景的应用于近期量子设备的候选方案之一。通过利用从输入 x 到作用于 x⨂x (广义到复数输入) 的经典感知器的精确映射，我们探究了 QNNs 的表达能力和归纳
PDF22 days ago
量子神经网络是否存在简单性偏见？
通过比较深度神经网络（DNNs）和量子神经网络（QNNs）的性能，本研究探讨了量子神经网络的归纳偏置和表达能力，并发现了一个比较结果：无论是具有归纳偏置的限制型 QNNs 还是具有高表达能力但无归纳偏置的 QNNs，它们与 DNNs 相比要
PDF24 days ago
过参数化如何影响特征？
超参数化是深度学习成功的关键因素之一，本研究通过比较不同宽度的模型的特征来探讨过参数化网络的特点，发现无论是过参数化还是欠参数化的网络都具有一些独特的特征，而过参数化网络在性能方面优于欠参数化网络，即使许多欠参数化特征被连接。在 CIFAR
PDFa month ago
ICML无偏差 ReLU 网络何时类似于线性网络？
我们研究了无偏差 ReLU 网络的表现力和学习动态。我们首先展示了两层无偏差 ReLU 网络的有限表现力：它们只能表达线性的奇函数。然后我们证明，在数据对称条件下，这些网络具有与线性网络相同的学习动态，从而得到了某些特定两层无偏差 ReLU
PDFa month ago
神经网络的热带表达能力
我们提出了一种代数几何框架来研究线性激活神经网络的表达能力。我们在热带几何的环境中工作，利用热带有理映射和前馈神经网络之间的已知连接，构建了一个丰富的研究神经网络的热带几何理论。我们的工作在选择采样域、对具有对称性的网络架构进行引导性采样域
PDF2 months ago
NPGA: 神经参数高斯阿凡达
从多视图视频录制中构建高保真、可控的人物形象，利用神经参数高斯分布进行渲染，实现了逼真的动画表现能力。
PDF2 months ago
学习潜在空间的分层 EBM 扩散模型
这项工作研究了基于能量的先验模型和多层生成器模型的学习问题。我们使用扩散概率方案来缓解能量模型的采样负担，并促进能量模型的学习，在各种具有挑战性的任务中展示出卓越的性能。
PDF2 months ago
了解虚拟节点：过度平滑、过度压缩和节点异质性
通过增加虚拟节点（VN）来消除层聚合的局部性限制，我们对消息传递神经网络（MPNNs）的角色和优势进行了全面的理论分析，通过过度平滑、过度压缩和敏感性分析的视角。我们提出了一种变种的 VN，具有相同的计算复杂度，可以根据图结构对不同节点进行
PDF2 months ago
IJCAI模型的组合性是由什么决定的？一个理论视角：附加材料
本文旨在理解语言中组成性结构在模型失败中的作用以及与其表达能力和样本复杂度的关系，并提出了一种神经符号化的组成性函数及其复杂性的定义，并分析了各种现有的通用和特殊目的序列处理模型在该定义下的组成性复杂性，最后基于提出的定义给出了显式地依赖于
PDF3 months ago
逻辑表达能力对 IID 松弛度的影响：将逻辑符合神经符号要求的研究议程
神经符号背景知识和其逻辑的表达性可以打破机器学习对于数据独立性和相同分布性的假设。在这篇论文中，我们提议分析适合不同用例要求的层次逻辑中的 IID 放松。我们讨论了利用已知数据依赖性和分布约束条件在神经符号用例中的好处，并认为这种知识所需的
PDF3 months ago
利用嵌套神经网络推广 SINDy 方法
Symbolic Regression（记号回归）是一个广泛研究的领域，旨在通过数据推断出记号表达式。本研究介绍了一种增强方法，名为 Nested SINDy，旨在通过引入嵌套结构来增加 SINDy 方法的表达能力。Nested SINDy
PDF3 months ago
像 Transformer 一样进行计数：将时间计数逻辑编译成 Softmax Transformers
基于序列变换器的计算能力，提出了时序计数逻辑 Kt 和 C-RASP 变种，并证明它们可以编译为具有未限制输入大小的未来掩码软注意力变换器，从而形成了迄今为止已知的形式表达能力下界。
PDF4 months ago
Transformer 网络的拓扑结构
通过拓扑理论的视角对变压器神经网络的表达能力进行理论分析，发现许多常见的神经网络架构可以嵌入到分段线性函数的前拓扑中，而变压器必须位于其拓扑完成中，并且指出这两种网络家族实例化了不同的逻辑片段：前者是一阶的，而变压器是高阶推理器，并且将其分
PDF4 months ago
高效稳健的全局追踪
我们提出了一种新颖的测试时优化方法，可高效且鲁棒地跟踪视频中的任何像素。通过引入一种新颖的可逆形变网络 CaDeX ++，我们改进了效率和鲁棒性，并在架构设计中增加了更强的几何偏差，并利用视觉基础模型提供的归纳偏差。我们的系统利用单目深度估
PDF4 months ago
RangeLDM：快速逼真的 LiDAR 点云生成
通过引入 RangeLDM，我们提出了一种快速生成高质量 LiDAR 点云的新方法，通过深度生成模型、变分自编码器和扩散模型来解决传统方法中的限制，从而在自动驾驶中获得稳健的表现和快速生成速度。
PDF4 months ago
有针对性的信息是否更有效？
图神经网络 (GNN) 是用于图的深度学习架构，其可表达性可以由具有计数的一阶逻辑的两个片段来描述。在非均匀设置中，两个 GNN 版本具有相同的可表达性，但在均匀设置中，第二个版本更为表达力强。
PDF5 months ago
本地顶点着色图神经网络
最近几年来，有大量的研究专注于扩展图神经网络（GNNs）的表达能力，超越 Weisfeiler-Lehman (1-WL) 框架。在这项研究中，我们从图搜索的角度探讨了 GNNs 的表达能力，提出了一种新的顶点着色方案，并证明经典的搜索算法
PDF5 months ago
ICLRGNN-VPA：图神经网络的方差保持聚合策略
通过应用信号传播理论，我们提出了一种保持表达能力但具有改进的前向和后向动力学的方差保持聚合函数 (VPA)，实验证明 VPA 能够提高流行的 GNN 架构的预测性能和学习动力学，这可能为无归一化或自归一化 GNN 铺平道路。
PDF5 months ago
图神经网络与算术电路
神经网络的计算能力与图神经网络 (GNN) 结构相对应，不仅局限于聚合 - 合并的 GNN 或其他特定类型，我们通过多样的激活函数与实数上的算术电路之间建立了精确的对应关系。在我们的结果中，网络的激活函数变成了电路中的门类型。我们的结果适用
PDF5 months ago
Transformer 对于回归问题是否表达能力足够？
Transformers 在自然语言处理中变得至关重要，在机器翻译和摘要等应用中取得了显著成功。然而，与现有观点相反，本研究发现 Transformers 在可靠地逼近连续函数方面存在困难，依赖于具有较大区间的分段常数逼近。通过理论分析和实
PDF5 months ago