attention mechanisms | BriefGPT

关键词attention mechanisms

搜索结果 - 274

基于注意力分类器的联邦持续学习节点在鲁棒性网络钓鱼检测中的疗效探索：实证研究
提出了结合联邦学习和持续学习的新型混合范式，通过分布式节点在新的网络钓鱼数据流上持续更新模型，同时引入基于注意机制的分类器模型和残差连接来捕捉复杂的网络钓鱼模式，从而实现了强大的网络钓鱼检测性能。
PDF2 months ago
变压器辅助的语义通信
通过使用 transformer 结构进行特征提取，以实现图像压缩和紧凑表示，从而优化语义通信的质量和带宽利用效率。
PDF2 months ago
HMAR：多行为推荐的分层掩码注意力
在推荐系统的背景下，处理多行为用户交互对于理解不断演变的用户行为变得至关重要。最近的模型利用图神经网络和注意机制等技术来建模多样的行为，但是捕捉历史交互中的顺序模式仍然具有挑战性。为了解决这个问题，我们引入了基于层次掩码注意力的多行为推荐模
PDF2 months ago
ShadowMaskFormer：面具增强的补丁嵌入用于阴影去除
提出了一种用于去除阴影的基于 Transformer 的框架，称为 ShadowMaskFormer，通过引入阴影信息和改进的 patch embedding 来提高模型在获取阴影区域知识方面的效果。在 ISTD、ISTD + 和 SRD
PDF2 months ago
理解基于注意力的编码 - 解码网络：以国际象棋记分表识别为例的案例研究
深度神经网络在学习复杂预测任务方面广泛使用，本文通过研究带有注意机制的编码器 - 解码器循环神经网络，旨在更好地理解这种网络的学习过程。通过对手写棋谱的任务进行表征，并实验性地研究影响学习的因素，我们发现了输入 - 输出对齐、序列模式识别和
PDF2 months ago
Transformer 可以表示 $n$-gram 语言模型
该研究论文探讨了 Transformer 语言模型与 n-gram 语言模型之间的关系，通过分析机器学习模型的概率表示能力，提供了对 Transformer 语言模型代表概率分布的机制的初步认识。
PDF2 months ago
一种使用 U-net 和修改后的卷积块注意力模块进行胸部 X 射线肺分割的新方法
本文提出了一种结合 U-net 和注意力机制的新方法，通过引入 Convolutional Block Attention Module (CBAM) 来进行胸部 X 射线图像的肺部分割，CBAM 统一了通道注意力、空间注意力和像素注意力三
PDF2 months ago
探索多种方法在视觉问答中的应用
本研究探讨了使用生成对抗网络（GANs）、自编码器和注意力机制改进视觉问答（VQA）的创新方法。研究发现，通过利用一个平衡的 VQA 数据集，GAN-based 方法提供了生成与图像和问题相关的答案嵌入的潜力，但在处理较复杂的任务时存在困难
PDF2 months ago
AMMUNet: 遥感图像分割的多尺度注意力地图融合
AMMUNet 是一种基于 UNet 的框架，通过多尺度注意力图合并实现全局建模，用于精确的遥感语义分割，并取得了优越的性能。
PDF2 months ago
金融投资组合优化的基于注意力的集成学习框架的开发
最近，通过学习动态金融市场中的空间和时间信息，采用深度学习或强化学习方法对投资组合进行优化。然而，在大多数情况下，现有的方法可能会根据传统价格数据产生偏斜的交易信号，由于大量市场噪音，这可能导致投资回报和风险无法平衡。因此，本文提出了一种多
PDF3 months ago
令牌空间：AI 计算的范畴论框架
通过引入 Token Space 框架，该研究介绍了一种新的数学构造，旨在通过范畴论的运用提高深度学习模型的可解释性和效能。
PDF3 months ago
CMRatt：一种基于注意力机制的加速心脏 MRI 重建方法
通过在深度学习模型中引入注意力机制，本研究旨在探索在心脏磁共振重建问题中整合注意力机制的潜力。我们对多种最先进的空间和通道注意力机制进行了基准测试，并使用客观指标定量评估重建质量。受表现最佳的注意力机制的启发，我们提出了一个新的、简单而有效
PDF3 months ago
基于注意力驱动的多智能体强化学习：增强专家指导的决策
利用领域知识和基于注意力机制的政策机制，该论文介绍了一种增强多智能体强化学习（MARL）的替代方法。该方法通过将领域专业知识纳入学习过程，简化了协同行为的开发，从而减少了与 MARL 通常相关的复杂性和学习开销，使代理能够集中于复杂任务的关
PDF3 months ago
图像恢复的增强 - multi-attention 方法
我们提出了 Diverse Restormer（DART），一种新颖的图像修复方法，通过有效地整合来自各种来源（长序列、局部和全局区域、特征维度和位置维度）的信息，解决了修复挑战。我们的方法利用了 Transformer 模型在图像修复方面
PDF3 months ago
BiSHop: 基于广义稀疏现代霍普菲尔德模型的双向表格数据学习
介绍了一种新型的端到端深度表格学习框架 BiSHop，它处理深度表格学习的两个主要挑战：非旋转不变数据结构和表格数据中的特征稀疏性。通过在每个尺度上具有自适应稀疏性的多尺度表示学习，BiSHop 捕捉了特征内部和特征间的交互，并在多个真实世
PDF3 months ago
基于高斯分布输入的自然稀疏注意力
通过对注意力机制中稀疏性的理论分析，揭示了注意力分数稀疏性的内在特性及其对计算效率的影响，并为优化大型语言模型的计算框架提供了一个理论检验，为更可扩展和高效的人工智能系统铺平了道路。
PDF3 months ago
使用 WASN 在室外环境中进行声音事件定位和分类
提出了一种基于深度学习的方法，利用多个特征和注意机制来估计声源的位置和类别，在声音事件定位和分类任务中展示了超过最先进方法的优越性。
PDF3 months ago
CLoRA：一种对比的方法来组合多个 LoRA 模型
通过更新多个 LoRA 模型的注意力图并利用它们创建语义掩码来解决在图像生成中多个概念的平滑融合问题，并成功地合并多个概念或样式。
PDF3 months ago
视觉 Transformer 网络的效率提升：设计技术与洞见
通过重新设计注意力机制，本研究对视觉变换网络（ViT）中的注意力机制进行了全面探索，以提高其性能。包括理论基础、基本概念、关注机制的系统分类以及性能评估等方面的综述。
PDF3 months ago
基于多尺度结构化状态空间模型的可扩展高效图像恢复
本研究提出了一种名为 Serpent 的架构，利用序列建模中的最新进展在核心计算模块中应用状态空间模型 (SSMs)，以实现与最先进技术相媲美的重建质量，并且在需要更少的计算量（高达 150 倍的 FLOPS 减少）和更少的 GPU 内存（
PDF3 months ago