attention mechanisms | BriefGPT

关键词attention mechanisms

搜索结果 - 276

视觉 Transformer 网络的效率提升：设计技术与洞见
通过重新设计注意力机制，本研究对视觉变换网络（ViT）中的注意力机制进行了全面探索，以提高其性能。包括理论基础、基本概念、关注机制的系统分类以及性能评估等方面的综述。
PDF3 months ago
基于多尺度结构化状态空间模型的可扩展高效图像恢复
本研究提出了一种名为 Serpent 的架构，利用序列建模中的最新进展在核心计算模块中应用状态空间模型 (SSMs)，以实现与最先进技术相媲美的重建质量，并且在需要更少的计算量（高达 150 倍的 FLOPS 减少）和更少的 GPU 内存（
PDF3 months ago
使用注意力驱动的脉冲神经网络增强图表示学习
本文提出了一个将注意机制与脉冲神经网络 (SNN) 相结合的新方法，以改进图表示学习的能力。该方法能够在学习过程中选择性地关注图中重要的节点和相应的特征，并在多个基准数据集上进行评估，结果显示其性能与现有的图学习技术相当。
PDF3 months ago
从可解释到可解读的深度学习在医疗自然语言处理中的应用：离现实有多远？
深度学习在医疗保健研究中通过解决各种自然语言处理（NLP）任务得到了极大的增强。本文对可解释和可解释的医疗 NLP 中的深度学习进行了彻底的综述。发现注意力机制是最主要的新兴 IAI，同时也提出了重要的机会，如利用注意力提升个性化医学的多模
PDF4 months ago
如何提升图像修复中的注意力潜力？
通过连续缩放注意力（CSAttn）方法，无需使用 FFN 来进行图像恢复任务，实验证明一些简单的操作可以显著影响模型性能，并展示了 CSAttn 在图像恢复任务中优于基于 CNN 和 Transformer 的方法。
PDF4 months ago
MambaTalk：带选择性状态空间模型的高效整体手势合成
表演合成是人机交互的重要领域，最近的研究基于扩散模型和注意力机制来改进表演合成，但由于计算复杂性较高，生成长且多样的序列仍然是一个挑战。我们探索使用状态空间模型来解决这个挑战，并实现了一种两阶段建模策略，并引入离散运动先验来提高表演质量。通
PDF4 months ago
人类对话是否特殊？基于大型语言模型的观点
本研究通过分析大型语言模型（LLMs）在理解人际对话时的注意机制变化，对与网络内容、代码和数学文本的三种使用情况进行了分析。研究表明，对话数据具有长期上下文关系的细致处理和通过注意力模式的高复杂性等独特挑战。我们的研究结果显示，虽然语言模型
PDF4 months ago
提高注意力的必要性
我们引入了三种新的注意力机制，比标准的多头注意力在效率和学习能力方面表现更好，从而提高了 Transformer 模型的性能和广泛部署能力。我们的第一个贡献是优化的注意力，它在头部数量、参数数量和矩阵乘法数量上与标准注意力相近，但参数数量少
PDF4 months ago
解读 Transformers 中的上下文查找：调查 Attention-MLP 交互
通过研究注意力头与特定 “下一个标记” 神经元在预测特定标记的多层感知机中的相互作用，我们可以揭示激活特定下一个标记神经元的注意机制。具体而言，我们关注在较早层次中不同提示下始终激活相同下一个标记神经元的注意力头。我们的方法结合了神经解释和
PDF4 months ago
目标中心的深度神经网络中的视觉推理：一种比较认知方法
通过测试多个以对象为中心的模型的关系学习和泛化能力，我们发现这些模型能够在多种情况下区分场景中的不同对象，但在更困难的任务和条件下仍面临挑战，说明抽象视觉推理仍然是深度神经网络，包括以对象为中心的模型面临的一个难题。
PDF5 months ago
利用敏锐感知最小化和通道关注解锁 Transformers 在时间序列预测中的潜力
通过研究一个玩具线性预测问题，我们发现变压器尽管具有高表达能力，但不能收敛于真实解，这是由于其注意力机制的低泛化能力。基于这一发现，我们提出了一种浅层轻量级变压器模型，在利用尖锐感知优化时能够成功逃离糟糕的局部最小值。我们通过实验证明这一结
PDF5 months ago
针对不平衡数据集的二进制语义分割的生成对抗网络的再探讨
基于条件生成对抗网络的深度学习框架，用于道路图像中像素级异常区域检测，实现了在多变数据集上高效稳健的最先进结果。
PDF5 months ago
Graph-Mamba: 面向具有选择性状态空间的长程图序列建模
本研究介绍了 Graph-Mamba，通过将 Mamba block 与依赖于输入的节点选择机制进行整合，增强了图网络中的长程上下文建模，从而显著提高了预测性能。通过对十个基准数据集的广泛实验，证明 Graph-Mamba 在长程图预测任务
PDF5 months ago
级联注视：图像修复中全局语境提取的高效性
本文介绍了一种名为 CGNet 的编码 - 解码架构，它采用了全局上下文提取器（GCE），这是一种用于图像恢复的新颖高效的捕捉全局信息的方法。通过在卷积层之间使用小核心来学习全局依赖关系，GCE 模块无需自注意力即可实现。广泛的实验结果表明
PDF5 months ago
基于注意力机制的高效分类方法用于阿尔茨海默病三维 MRI 图像
通过使用深度学习和图像识别技术，本研究提出了一种基于卷积神经网络的新型阿尔茨海默病检测模型，该模型利用预训练的 ResNet 网络作为骨干，结合了 3D 医学图像的后融合算法和注意力机制，实验证明引入的 2D 融合算法有效降低了模型的训练开
PDF5 months ago
TIM：面向脉冲变压器的高效时间交互模块
介绍了一种名为 Temporal Interaction Module (TIM) 的卷积增强方法，它能无缝高效地整合到现有的 Spiking Neural Networks 架构中，显著提升其处理时间信息的能力，并在各种神经形态数据集上展
PDF5 months ago
ICLRMVSFormer++：揭示多视角立体匹配中 Transformer 细节中的问题
近期基于学习的多视点立体（MVS）方法中，引入了具有注意机制的基于 Transformer 模型的最新进展；然而，现有方法对 Transformer 在不同 MVS 模块上的深远影响尚未进行彻底研究，导致深度估计能力有限。本文提出了 MVS
PDF5 months ago
MAMBA: 基于记忆库的视频目标检测的多级聚合
通过使用多层聚合架构和内存库的方式进行视频对象检测，提出了一种通过构建轻量级键值对和细粒度特征更新策略的方法，该方法可以提高特征增强的效果，实现了在速度和准确度方面超越现有最先进方法的性能。
PDF6 months ago
视觉 Transformer 中的注意力图统计检验
在这项研究中，我们提出了一种用于 Vision Transformer 的注意力的统计测试方法，通过选择性推理的框架，我们量化了注意力的统计显著性，并将其用于脑图像诊断的应用，以可靠的定量证据指示 Vision Transformer 的决
PDF6 months ago
零 - shot 下注意力汇聚增强的大型语言模型的 RTL 代码生成
利用大型语言模型简化硬件设计中的代码生成过程，并探索其在资源受限的问题中的应用能力。
PDF6 months ago