- 了解虚拟节点:过度平滑、过度压缩和节点异质性
通过增加虚拟节点(VN)来消除层聚合的局部性限制,我们对消息传递神经网络(MPNNs)的角色和优势进行了全面的理论分析,通过过度平滑、过度压缩和敏感性分析的视角。我们提出了一种变种的 VN,具有相同的计算复杂度,可以根据图结构对不同节点进行 - VideoSAGE: 利用图表示学习进行视频摘要
提出了一种基于图的表示学习框架用于视频摘要,通过将输入视频转换为图,从而在图上建立稀疏连接,将视频摘要任务转化为二进制节点分类问题,以捕捉视频帧之间的长程相互作用,同时具有更高的计算效率和内存利用率。
- MedMamba:针对医学图像分类的视觉蛇
Medical image classification using Vision Mamba, a novel Conv-SSM module that combines convolutional layers with state s - 深入探索区域信息:基于变换器的单幅图像去雨方法
我们提出了一种名为 Regformer 的新型 SID 方法,强调在高质量图像重建中独立处理受雨影响和不受影响区域以及考虑它们的联合影响的重要性,通过创新的 Region Transformer Block (RTB) 来实现。实验结果表明 - 高效学习长程和等变量量子系统
在这项研究中,我们考虑了量子多体物理中的一个基础任务 - 寻找和学习量子哈密顿量及其性质的基态。最近的研究关注通过学习数据来预测几何局部可观测量之和的基态期望值。我们扩展了这些结果,超越了对哈密顿量和可观测量的局部要求,针对分子和原子系统中 - 自适应信息传递:缓解过度平滑、过度压缩和未能到达的通用框架
通过在变分推断框架中赋予消息传递架构自由适应其深度和筛选消息的能力,本研究提出了一种能够更好捕捉长程相互作用的简单策略,并在与该问题相关的五个节点和图预测数据集上超越了现有技术水平,稳定提高了基线方法在这些任务上的性能。
- 分子图的长程神经原子学习
通过将原子隐式转化为少数个神经原子,我们提出了一种方法来处理当前图神经网络在捕捉长程相互作用方面的不足,从而帮助改进分子性质的确定。通过在神经原子之间交换信息并将其映射回原子表示,神经原子能够在远程节点之间建立通信通道,从而有效地减小了任意 - 基于本地感知的图重连技术在图神经网络中的应用
图神经网络是基于图的机器学习的流行模型,本文提出了一种新的图重连框架,通过一系列的重连操作满足降低过度挤压、保持图的局部性和稀疏性等特点,并验证其在多个真实世界基准测试中的有效性。
- 量子自旋链中的最优控制下持久弹道纠缠扩散
通过 VEETF 强化量子自旋链中的纠缠传播,在饱和之前,纠缠熵以线性速度扩展,而存在长程相互作用时,纠缠熵的增长是非线性的。
- 图神经网络的神经优先队列
本文介绍了一种用于图神经网络(GNNs)的可微分算法优先队列 —— 神经优先队列(Neural PQs),使用该方法可以捕捉长距离的相互作用并增强算法推理的性能。
- 稀疏表示、推理和学习
本文介绍了一种可以用于处理弱长程相互作用问题的通用框架,其中包括压缩感知问题或感知器学习问题,框架利用了统计物理学的分析工具来研究其解决方案的基本限制,并提出了解决方案算法,这可以为机器学习提供有益的工具。
- CIN++:增强拓扑信息传递
本文提出了 CIN++,一种增强的细胞同构网络,通过允许细胞在每层中接收较低的信息,提供高阶和长程交互的更全面的表示,从而在大规模和长程化学基准测试中取得了最先进的结果。
- 长距离图推理基准测试
本研究提出了长距离图基准 (LRGB),通过对 5 个图学习数据集进行基准测试,证明了捕获远距离依赖性的图神经网络 (MP-GNNs) 和 Transformers 架构在某些任务上性能表现明显更好,可用于衡量和探索 LRI 的 MP-GN - LambdaNetworks:无需 Attention 建模长距离交互
该研究提出了一种名为 Lambda 网络的神经网络结构,其中采用 Lambda 层用于捕捉输入与结构化上下文信息之间的长程交互,并且在 ImageNet 分类,COCO 对象检测和实例分割等领域中明显优于传统的卷积和注意力网络,同时 Lam - 驯服 Transformer 的高分辨率图像合成
结合卷积神经网络与 transformers 模型的特点,实现了生成高分辨率图像的任务,并取得了 ImageNet 中类别有条件下的自回归模型的最优结果
- MM矩阵积算子表示
本文介绍了如何构建矩阵乘积算符来进行量子系统的数值模拟,包括时间演化和长程相互作用下的 Hamiltonians,并给出了详细的应用示例。