residual connection | BriefGPT

关键词residual connection

搜索结果 - 9

一种具有自注意力残差的新型视觉 Transformer 用于生物医学图像分类
本文提出了一种新的多头自注意力视觉转换器（ViT）框架，通过使用残差连接的概念累积多头注意力块中的最佳注意力输出，从而在生物医学图像分类方面取得了显着的进展，并在两个小数据集上进行了评估：（i）血细胞分类数据集和（ii）使用脑 MRI 图像
PDFa year ago
深度关注 Unet：具有全局特征感知能力的网络模型
本文提出了一种基于通道自注意机制和残差连接的新型 UNet 图像分割算法，通过改进图像中不同项目之间的内部连接，显著提高了遮挡遥感图像分割的结果。在 FoodNet 数据集上，与传统 UNet 相比，新的网络模型将平均交并比提高了 2.48
PDFa year ago
AAAIDRGCN: 深度图卷积网络的动态进化初始残差
提出一种名称为动态进化的初始残余图卷积网络（DRGCN）的新型模型，通过动态和进化块建模残差演化模式来有效缓解深 GCNs 中的超平滑问题，并在各种基准数据集上优于现有的最新技术，其代码可以在 GitHub 上复现。
PDFa year ago
自适应深度图注意力网络
本文通过系统性实验评估关注网络的层数与性能之间的关系，发现残差连接可以解决 Oversquashing 现象，提高 GAT 模型的性能。因此，我们提出了 ADGAT 变体模型，可根据图的稀疏性自适应选择层数，从而显着提高了模型的性能。
PDFa year ago
Clenshaw 图神经网络
本文介绍 ClenshawGCN 模型，采用 Clenshaw 求和算法增强 GCN 模型的表现力，通过两种残差模块来模拟多项式滤波器，从而提高了在异构图上的学习表现，实验结果表明，我们的模型优于空间和谱 GNN 模型。
PDF2 years ago
ICLR二进制化图像修复网络的基本二值卷积单元
本文探讨了针对 IR 任务中二进制卷积的组件，如残差连接，批归一化，激活函数和结构以及它们在 BNN 中的作用和缺陷，并设计了基本的二进制卷积单元（BBCU），通过 BBCU 为各个 IR 网络部分设计了变种。实验结果表明 BBCU 能够成
PDF2 years ago
EMNLP将残差和归一化层引入掩码语言模型分析中
通过全面分析 Transformer 架构（多头注意力、残差连接和层归一化）来研究其性能表现，发现中间表示的交互通过注意力执行的作用比先前假定的要小，并提供了新的直观解释。
PDF3 years ago
MM使用 GAN 进行盲去模糊
本文通过尝试不同的 GAN 结构和对现有结构的各种修改来提高其在监督去模糊中的性能，其中包括使用注意力模块和残差连接，同时添加经典损失函数（L1，L2 和感知损失）来训练 GAN，以及采用反馈模块以保留长期依赖关系。
PDF5 years ago
关于 3D 卷积神经网络的紧凑性，效率和表示性：以脑区分为先验任务
通过采用扩张卷积和残差连接等现代卷积神经网络的高效和灵活的元素，该研究提出了一种高分辨率、紧凑的卷积神经网络，用于分割体积图像，并证明了其比现有的体积分割网络更紧凑，能够对大规模图像数据进行 3D 表示的学习，应用于神经解剖学结构的分割。同
PDF7 years ago