expressive power | BriefGPT

关键词expressive power

搜索结果 - 117

对无限字母表上的寄存式自动机和转换器的单次使用限制
该论文研究了对无限字母的寄存器自动机和转换器的单次使用限制，通过引入单次使用的函数的抽象概念并定义所有讨论的单次使用模型，论文提出了关于单次使用限制的一致性叙述，并介绍和研究了局部半群转导和局部有理半群转导的代数模型。
PDF7 days ago
KDD通过注入上下文化的子结构信息来提升 K - 跳消息传递 GNNs 的表现力
本研究探讨了基于图神经网络的 K-hop 传递模型的局限性，并提出了子结构编码函数，以提升其表达能力，并注入情境化子结构信息增强表达能力。实证结果表明，该方法在多个数据集上取得了新的最优表现或可比较的性能。
PDF7 days ago
通过预处理的图扰动实现可扩展的表达能力
图神经网络成为分析图结构数据的主要方法，但是传统的图神经网络的表达能力和泛化能力有局限性，因此引发了更加表达力和计算复杂性的方法的发展。为了解决规模性问题，提出了经过预处理图扰动的可扩展表达模型（SE2P），该模型提供了可灵活配置的四种配置
PDF17 days ago
ACL基于语言模型的组合概括
通过扩展语义解析的组成概括工作，我们为生成与知识图谱配对的自然语言问题开发了一种方法，以在不受限于语言模型权重隐式编码的信息的同时，对这些模型从知识图谱中学习和概括程度进行控制性评估，我们发现现有的将语言模型与知识图谱组合的方法在未见过长度
PDFa month ago
ICML谱不变图神经网络的表达能力研究
使用光谱特征的图神经网络（GNNs）已显示出有希望的结果，但由于特征向量的固有模棱两可性，这提出了一项基本挑战。已经提出了几种架构来解决这种模棱两可性，被称为光谱不变架构。其中几个著名的例子包括使用光谱距离、光谱投影矩阵或其他不变光谱特征的
PDFa month ago
ICML将 Transformer 与 Weisfeiler-Leman 对齐
图神经网络架构与 $k$ 维 Weisfeiler--Leman（$k$-WL）层次结构相吻合，其在理论上具有良好的表达能力。然而，这些架构在实际应用中往往无法提供最先进的预测性能，从而限制了它们的实用性。最近的一些研究将图变换器架构与 $
PDFa month ago
MM合取类别文法与添加剂的 Lambek 文法
提出了一种新的范畴语法家族，通过丰富基本的范畴语法，引入了一个连接操作。证明了这种方式得到的形式与带有连接的上下文无关文法具有相同的表达能力。还证明了带有连接的范畴语法可以自然地嵌入到带有连接和析取操作的 Lambek 演算中。这进一步意味
PDFa month ago
具有实数和浮点数的循环图神经网络的逻辑特征
对于具有浮点数和实数的循环图神经网络，我们给出了两种情况下的精确逻辑特征，对于浮点数，与循环 GNN 匹配的形式是一种具有计数的基于规则的模态逻辑，而对于实数，我们使用适当的无限模态逻辑，也带有计数。此外，相对于在单调二阶逻辑（MSO）中定
PDFa month ago
谱图卷积的系数分解
我们提出了一种基于谱图卷积的通用形式，其中多项式基的系数存储在一个三阶张量中，并通过在系数张量上执行某种系数分解操作来导出现有谱图卷积网络的卷积块。基于这个广义视角，我们开发了新颖的谱图卷积方法 CoDeSGC-CP 和 - Tucker，
PDF2 months ago
AnchorGT：用于可扩展图变换器的高效灵活的注意力架构
通过全局感受野和几乎线性的复杂度，AnchorGT 提出了一种新颖的注意力结构，用于改进各种 GT 模型的可扩展性，实现更高的效果和更高的内存效率。
PDF2 months ago
HOIN：高阶隐式神经表示
通过提出一种称为 High-Order Implicit Neural Representations (HOIN) 的通用框架，通过增强模型的表达能力和减轻频谱偏差，加速和优化逆问题的解决，HOIN 在大多数逆问题中实现了 1 到 3 d
PDF2 months ago
状态空间模型中的状态幻觉
通过对比转换器架构的普遍存在的理论弱点，我们的分析揭示了状态空间模型在状态跟踪方面与转换器非常相似的表达能力的限制，这可能从根本上限制了它们解决现实世界状态跟踪问题的能力。
PDF3 months ago
关于高阶图变换器的理论表达能力和设计空间
系统研究了高阶图转换器和稀疏变体的理论表达能力，通过基于邻域信息的稀疏化，提高了传统模型的效率和表达能力。
PDF3 months ago
AAAI概率神经电路
概率电路（PC）在最近几年中越来越受关注，作为一个灵活的框架，用于讨论支持可处理查询且足够表达复杂概率分布的概率模型。然而，可处理性是以牺牲表达力为代价的：PC 相较于神经网络来说表达能力较弱。在本文中，我们引入了概率神经电路（PNC），它
PDF4 months ago
图神经网络输出几乎肯定是渐近常数
图神经网络（GNN）是用于各种图学习任务的主要架构。我们通过研究 GNN 概率分类器在从某个随机图模型中抽取的较大图上应用时的预测如何演变来呈现 GNN 表达能力的新视角。我们展示了输出收敛为常函数的现象，这个常函数上界了这些分类器能够统一
PDF4 months ago
关于一种变体 Looped Transformer 的表达能力
通过引入 Algorithm Transformer（AlgoFormer）的设计，我们增强了 transformers 的算法表示能力，并且实验证明了 AlgoFormer 在某些具有挑战性的任务上优于标准 transformer 和 v
PDF4 months ago
通过超图对称打破实现高阶关联预测的表达力
超图表示能学习到更高阶的链接预测，通过预处理算法识别出对称的子超图来提高广义魏斯费勒 - 利曼 1 算法的表达能力。
PDF5 months ago
图神经网络的同态计数：基础方面的研究
图神经网络是一种用于学习图上不变函数的架构。本研究证明了现有方法中存在的不足，并提出了一种更精细化的方法，通过整合目标模式中所有结构的同构计数，实现了更加具有表达能力的架构，而不增加额外的计算复杂度。我们在标准基准数据集上进行了一系列理论和
PDF5 months ago
可训练量子机器学习中的任意多项式分离
最近的量子机器学习的理论结果表明了量子神经网络（QNNs）的表达能力和可训练性之间的一般性权衡；作为这些结果的推论，实际中在表达能力上超过经典机器学习模型的指数级差异被认为是不可行的，因为这样的 QNNs 训练所需的时间与模型大小的指数成正
PDF5 months ago
基于耦合的标准化流的普遍性
我们提出了一个新的理论框架，用于理解基于耦合的标准化流（如 RealNVP）的表达能力。我们的研究结果支持耦合架构具有表达性，并提供了选择耦合函数表达性的细致观点，弥合了实证结果与理论理解之间的差距。
PDF5 months ago