attention mechanisms | BriefGPT

关键词attention mechanisms

搜索结果 - 274

揭开 U-Net 模型中感受野尺寸对医学图像分割效果的神秘
医学图像分割是医疗应用中关键的任务，本研究探讨了 U-Net 和 Attention U-Net 架构中的感受野（RF）大小及其对模型性能的影响，研究了 RF 大小与感兴趣区域特征、模型性能以及计算成本之间的关系，提出了表示给定网络层的理论
PDF8 days ago
引导式上下文门控：学习利用视网膜底图中显著病变
通过引入 Guided Context Gating 注意机制，本研究提出了一种用于有效表示医学图像（特别是视网膜图像）的新方法，相较于现有注意机制，在定位病变上具有更好的效果，并在视网膜病变的严重程度评估中实现了显著的精度提升。
PDF13 days ago
分层联想记忆、并行化 MLP-Mixer 和对称性破坏
通过将 Krotov 的分层关联记忆与 MetaFormers 相结合，该论文提出了一种新的视角，将整个 Transformer 块的完整表示，包括标记 -/ 通道混合模块、层归一化和跳跃连接，作为一个单一的 Hopfield 网络。该方法
PDF14 days ago
HiP 注意力：带有分层注意力修剪的稀疏次二次注意力
我们提出了一种名为 HiP 的新方法，通过层次化剪枝注意力机制将训练和推断的时间复杂度从 O (T^2) 降低到 O (T log T)，空间复杂度从 O (T^2) 降低到 O (T)，并且能够扩展到数百万个令牌的预训练 LLM 应用中。
PDF18 days ago
AGFA-Net：基于计算机断层扫描血管造影的冠状动脉分割的注意力引导和特征汇聚网络
通过 coronary computed tomography angiography (CCTA) 图像，提出了一种注重注意力的特征聚合的三维深度网络 (AGFA-Net)，用于冠状动脉分割，该网络利用注意机制和特征细化模块来捕捉显著特征
PDF19 days ago
MeMSVD: 使用增量 SVD 捕捉长程时域结构
这篇研究论文讨论了长期视频理解的问题，提出了一种基于低秩逼近的方案来解决注意力机制的复杂性和内存存储问题，并通过大量实验验证了该方案在不同架构和任务上的优越性。
PDF21 days ago
自注意力神经网络的动力学平均场理论
使用非平衡 Hopfield 网络的路径积分方法研究了变压器网络的动力学规律，发现了与混沌分叉相关的非平衡相变等非平凡的动力学现象，并讨论了这种分析方法改善对变压器模型内部运作理解的潜力。
PDF21 days ago
深度状态空间模型的对抗鲁棒性探索
深度状态空间模型（SSMs）面临着真实世界部署中的对抗性扰动（APs）所带来的严重安全挑战。本研究评估了 SSMs 的不同结构变种在对抗训练（AT）中的对抗鲁棒性（AR）表现，并发现引入注意力机制对于 SSMs 在 AT 中具有更好的稳健性
PDF24 days ago
ICML向量化的条件神经场：用于解决时变参数的偏微分方程的框架
使用矢量化条件神经场模型（VCNeFs），并结合注意力机制，通过并行计算多个时空查询点的解决方案并对其依赖关系进行建模，解决了 Transformer 模型在求解偏微分方程方面的问题，并具有优于现有机器学习模型的竞争力。
PDFa month ago
S$^2$GSL：基于分段到句法增强图结构学习的方面情感分析
提出了一个新的方法 S$^2$GSL，在 Aspect based Sentiment Analysis (ABSA) 中结合了段落感知的语义图学习和基于语法的潜在图学习，以提高图结构学习的准确性和效果。
PDFa month ago
渐进自信遮罩注意力网络用于音频 - 视觉分割
通过引入渐进自信掩蔽注意力网络（PMCANet），利用注意机制揭示音频信号和视觉帧之间的内在相关性，并设计了高效且有效的跨注意模块来通过选择查询标记增强语义感知。实验证明，我们的网络在需要更少的计算资源的情况下比其他 AVS 方法表现更好。
PDFa month ago
TE-NeXt: 一种基于 LiDAR 的 3D 稀疏卷积网络用于可通行性估计
TE-NeXt 是一种基于残差卷积块的新颖高效的架构，能够从稀疏的 LiDAR 点云中进行可通行性估计（TE）。通过融合当前趋势的注意机制和 3D 稀疏卷积的概念，TE-NeXt 旨在展示其在各种城市和自然环境下的泛化能力，使用了如 Sem
PDFa month ago
DS@BioMed 在 ImageCLEFmedical Caption 2024 中的研究：通过概念检测集成增强的医学字幕生成中的注意力机制
我们的研究提出了一种改进的医学图像描述生成方法，通过将概念检测集成到注意机制中。该方法利用先进模型识别医学图像中关键概念，并将其纳入描述生成过程中。结果表明，我们使用的 Swin-V2 模型在概念检测任务中，在验证集上达到 0.58944
PDFa month ago
基于深度卷积神经网络的哈萨语影评方面与极性分类模型
这篇论文介绍了一个针对豪萨语电影评论的方面和极性分类的基于深度卷积神经网络（CNN）的模型，该模型是针对理解文本中的情感细微差别而进行的，特别是针对不同语言和文化。作者创建了一个包含人工注释的综合豪萨语 ABSA 数据集，填补了资源可用性方
PDFa month ago
朝向精准医疗：时序和图像数据的稳健融合
利用多模态数据，特别是医学实验的图像和时间序列数据，提出一种新的方法来改进临床应用中的多模态深度学习，在预测死亡率和表型分型等重要领域中取得了有效的结果，同时克服了噪声和不平衡数据集的挑战，并采用不确定性模型和注意力机制，提高了模型的性能和
PDFa month ago
CVPRCSTA：基于卷积神经网络的时空注意力视频摘要
提出了一种基于 CNN 的时空注意力（CSTA）方法，将视频的每个帧的特征堆叠起来形成类似图像的帧表示，并应用 2D CNN 对这些帧特征进行处理，实现对关键属性的学习和视觉重要性的捕捉，在 SumMe 和 TVSum 等数据集上实验证明了
PDFa month ago
自然语言处理中 Transformer 的效率综述
该论文通过对 NLP 的演变及其应用的准确性和效率的评论，以及提出和硬件考虑下对基于 transformer 模型的效率进行改进的研究贡献的调查，旨在确定当前 NLP 技术对可持续社会的贡献，并为未来研究奠定基础。
PDF2 months ago
MM遥感图像超分辨率的高级特征提取模块
提出了一种名为 Channel and Spatial Attention Feature Extraction (CSA-FE) 的高级特征提取模块，通过使用通道和空间注意力结合标准视觉变换器 (ViT)，有效提取特征；在 UCMerce
PDF2 months ago
NOVA: 基于片上网络的向量单元，用于在 CNN 加速器上映射注意力层
本研究介绍了 NOVA，一种基于 NoC 的向量单元，可以在加速器的 NoC 中执行非线性操作，并能覆盖现有的神经加速器，以在边缘计算中映射注意力层。我们的结果表明，当运行现有的基于注意力的神经网络时，NOVA 体系结构比最先进的硬件逼近器
PDF2 months ago
MFA-Net：肝肿瘤分割的多尺度特征融合注意力网络
一个基于注意力机制的新型切割框架 MFA-Net（多尺度特征融合注意力网络）在医学 CT 图像中分割器官感兴趣区域，通过学习多个尺度的特征图并与现有方法进行比较，实验结果表明 MFA-Net 在不同尺度的图像上产生更加精确的分割。
PDF2 months ago