HEAT: 用于结构化重构的全面边缘注意转换器
本文提出了一种新颖的消息传递神经网络(MPN)架构Conv-MPN,从一张单一的RGB图像中重构室外建筑物为平面图,并与现有的全神经网络方案相比取得了显着的改进,该架构为图形神经网络研究开辟了新的领域。
Dec, 2019
该论文提出了一种名为Edge-augmented Graph Transformer (EGT)的框架来处理任意形式的结构数据,其中使用全局自我关注作为聚合机制,并通过边缘通道来演化结构信息,从而在图结构数据的学习任务中超越了卷积/消息传递图神经网络,并在OGB-LSC PCQM4Mv2数据集上实现了量子化学回归任务的最新性能。
Aug, 2021
本文介绍了一种名为AIR-Nets的注意力隐式表示网络, 用于从点云中重建3D形状。通过利用局部和模块化表示3D形状, AIR-Nets将输入点云编码为一组锚定在3D空间中的局部潜在向量,并具有全局潜在描述,以实现全局一致性。该模型是第一个基于编码器的无棱柿函数的局部描述方法。经验证明,该模型在ShapeNet数据集上显着优于以前的最先进的编码器-隐式形状学习方法,并在稀疏设置中表现优异。此外, 该模型还具有简单运行机制与稀疏潜在表示形式,未来有多种激动人心的研究方向。
Oct, 2021
在点云学习领域中,由于Transformer模型生成的注意力矩阵具有输入规模的平方复杂度,因此本文提出了一种采用自适应方式学习较小基础上的基础并通过它们的带权求和来计算注意力矩阵的方法(PAT),并借助于轻量级的多尺度注意力块(MST)来实现对不同尺度特征的关注,最终构建了一个名为PatchFormer的神经网络,为点云学习提供了可比较的准确性,并且比以前的点Transformers快9.2倍。
Oct, 2021
本论文提出了一种新的transformer设计,FeatER,可以在建模注意力时保持特征映射表示的固有结构,并减少内存和计算成本,在几个人类重建任务中有效增强了性能,包括2D HPE、3D HPE和HMR任务,并应用了特征映射重建模块来改进人体姿态和网格的估计表现。
May, 2022
本研究提出了一种新型的轻量神经网络EdgeNeXt,通过引入STDA编码器,在不增加计算成本的情况下,将CNN和Transformer模型的优点结合起来,以实现多尺度特征的编码和有效利用,从而达到资源高效的目的。在分类、检测和分割任务中,较之于其他最先进方法,EdgeNet在计算要求较低的条件下表现出更佳的性能,表现出其在实践中的潜力。
Jun, 2022
该研究建立了一种迭代编码器-解码器网络模型,利用重构上的反馈机制来加强前馈目标识别过程的重要信息,有效应对常见的图像扰动;研究还发现,该网络模型在对象识别方面,空间与特征化的注意力是相辅相成的,并可以解释人类的知觉误差。
Sep, 2022
本论文提出了一种改进的角落表征方法,将角点检测和边缘预测之间的知识融合,建议角点候选者在四个heatmap通道中提出,定量和定性评估证明该方法能够更好地重建细粒度结构,并取得了比最先进的 Corner 和 Edge 模型更好的表现。
Apr, 2023
我们提出了一种名为Graph-Segmenter的网络,其中包括Graph Transformer和Boundary-aware Attention模块,能够同时以全局和局部视角建模窗口之间更深入的关系以及窗口内各个像素的关系,且具有较低的边界调整成本,实现了最先进的分割性能。
Aug, 2023
我们提出了一种基于全曲率空间的完全产品百叶窗变换器,结合了tokenized图变压器,通过端到端的方式学习适合输入图的曲率,以及一种核化的非欧几里得注意方法,实现了线性时间和内存成本与节点和边的数量成线性关系的模型在非欧几里得域的功能扩展。实验结果表明将变形器推广到非欧几里得域的好处。
Sep, 2023