attention mechanism | BriefGPT

关键词attention mechanism

搜索结果 - 803

SIGIR通过 k 稀疏注意力实现稳健的知识追踪模型
知识追踪（KT）是根据学生的历史互动序列预测其未来表现的问题。本文提出了一种名为 sparseKT 的简单而有效的框架，通过引入 k-selection 模块和两种稀疏化启发式方法，提高了基于注意力的 DLKT 方法的鲁棒性和泛化性能。在实
PDF3 days ago
短篇: Mamba 遇上裂缝分割
研究探索了 Mamba 对裂缝特征的表征能力，并发现了 Mamba 与注意力机制之间的联系，提出了一个基于注意力块原理的新颖 Mamba 模块 ——CrackMamba。在两个数据集上进行了与其他视觉 Mamba 模块的比较，结果显示 Cr
PDF5 days ago
Token-Picker: 通过概率估计最小化内存传输以加速文本生成
注意力机制在文本生成中由于其顺序特性而受到内存约束，为了加快执行速度，应尽量减少对芯片外存储器的访问。我们的方法在软件水平上通过预估概率来有效地去除低概率的标记，不需要微调，达到了约 12.1 倍的剪枝率。此外，我们还提出了一种支持按需访问
PDF6 days ago
基于小波的双维聚合网络用于 SAR 图像变化检测
通过波束合成孔径雷达图像的变化检测，使用基于小波的二维聚合网络（WBANet）来增强局部上下文意识和非线性表示能力，实验证明 WBANet 在三个 SAR 数据集上的性能显著优于同类方法。
PDF9 days ago
ARTEMIS：Transformer 神经网络的混合模拟 - 随机 In-DRAM 加速器
通过使用 PIM/NMC 架构以及利用新型的 in-DRAM 金属 - 金属电容器支持随机计算和时间模拟累加，我们提出了 ARTEMIS，一个用于 Transformer 模型的混合模拟 - 随机的 in-DRAM 加速器，通过对传统 DR
PDF10 days ago
量子化全局自编码器：一种综合表示视觉数据的方法
通过量化自编码器、自适应离散化方案、注意机制、光谱分解和 VQ-VAE 设置，我们的方法获得了全局描述，实现了在压缩方面的性能表现。
PDF11 days ago
Transformer 中的加权分组查询注意力
我们提出了一种称为加权分组查询注意力（WGQA）的分组查询注意力的变体，引入了新的可学习参数来增强 T5 解码器注意力块中的键和值头，使模型能够在微调期间进行加权平均，并在推理过程中无需额外开销与传统的多头注意力（MHA）性能相当。
PDF12 days ago
遥感图像的分割引导注意力视觉问答
通过将注意机制嵌入到远程感知问答 (RSVQA) 中的分割过程中，本研究探讨了分割在引导注意力方面的关键作用，并提供了一个新的 VQA 数据集来评价该方法的有效性，结果显示与传统方法相比，我们的新方法在该数据集上的整体准确率提高了近 10%
PDF16 days ago
基于图的字幕生成：通过连接区域描述增强视觉描述
使用图结构的图像描述方法及其在模型训练中的性能提升
PDF18 days ago
FIPGNet：基于金字塔嫁接网络的特征交互策略
我们提出了一种新的显著性物体检测框架 (FIPGNet)，它是一个具有特征交互策略的金字塔嫁接网络。该方法利用注意力机制和特征交互策略，解决了当前金字塔嫁接网络模型中显著目标定位的问题。实验证明，该方法在四个指标上超过了当前 12 种显著性
PDF23 days ago
运动与注意力：视频运动提示
运用修改的 Sigmoid 函数作为注意机制，激活和调节来自帧差分图的运动信号，通过逐对关注图与原始视频帧的 Hadamard 积突出感兴趣的运动随时间的演变，用于学习改进的运动提醒，并作为模型与视频数据之间的适配器，弥合传统的 ' 盲目运
PDF24 days ago
全局 - 局部关注机制的关系分类
本文介绍了一种新颖的全局 - 局部注意机制用于关系分类，通过将全局注意力与局部关注度相结合来提升全局关注度。此外，我们提出了创新的硬与软定位机制，以识别局部注意的潜在关键字。通过同时融入硬和软定位策略，我们的方法对有效关系分类的语境线索提供
PDFa month ago
一个用于双模态情感分类的简单基于注意力机制
在本文中，我们提出了基于双模态深度学习结构和注意力机制的情感分类方法，使用文本和语音数据进行训练和测试，并报告了不同结构的详细细节和性能分析结果。研究结果表明，使用不同类型数据（文本和语音）训练的深度学习结构优于仅使用文本或语音训练的结构，
PDFa month ago
揭示和控制 Transformer 中的异常注意力分布
通过对豁免现象的分析，这篇论文探讨了基于 Transformer 架构的大型模型中注意力机制中普遍存在的高强度关注第一个元素的现象，从而有助于开发关注分布的技术，如 Key-Value（KV）Cache 压缩和无限外插法。
PDFa month ago
揭示和利用隐藏的注意力汇聚：通过注意力校准增强大型语言模型的性能
通过细致研究和可视化大型语言模型（LLMs）中的注意力分布，本研究发现注意力汇的存在可以通过在提取信息时实时优化的了解，从而提高 LLMs 的准确性并避免权重调整。
PDFa month ago
融合拓扑数据分析与卷积神经网络的研究
基于拓扑数据分析（TDA）和卷积神经网络（CNN），本文提出了一种名为 TDA-CNN 的特征融合方法，通过融合 CNN 提取的数值分布特征和 TDA 提取的拓扑结构特征来改善 CNN 的特征学习和表示能力。TDA-CNN 通过适应性学习每
PDFa month ago
突破注意力瓶颈
通过开发一种生成函数来解决基于关注机制的注意力变量效率低的问题，该方法在处理变长输入序列和建模长程依赖方面具有更小的模型和更小的损失。
PDFa month ago
基于多模态深度学习的自然语言处理模型优化研究
通过引入多个模式层到属性模型中，整合了图像内容的语义和隐藏层。利用 Word2Vec 方法量化词向量并通过词嵌入卷积神经网络进行评估，实验结果显示该方法可以将离散特征转化为连续特征，从而降低特征预处理的复杂性，并通过卷积神经网络的优秀特征分
PDFa month ago
神经算子的连续关注
用注意机制来设计神经操作器，在函数空间中进行 Transformers 的研究，证明其作为实践中的 Monte Carlo 或有限差分近似算符，同时介绍了函数空间泛化的 patching 策略和相关神经操作器的类，证明其在注意力函数空间表述
PDF2 months ago
猿猴仿效：利用自注意力在运动扩散中实现零样本运动转移
通过深入研究预训练动作扩散模型中潜在特征空间的隐含优势以及注意力机制，本文提出了一种名为 MoMo 的零样本动作转换方法，它能够保持追随者的细微特征并将领导者的动作传递给追随者，同时充分利用预训练模型的权重，允许选择性地编辑与特定动作相关的
PDF2 months ago