self-attention mechanism | BriefGPT

关键词self-attention mechanism

搜索结果 - 236

AMSA-UNet：一种基于自注意力的非对称多尺度 U-Net 用于去模糊
提出了一种基于自注意力的不对称多尺度 U 型网络（AMSA-UNet）来提高去模糊的准确性和计算复杂度，通过引入多尺度 U 形结构，在全局层面关注模糊区域，在局部层面更好地恢复图像细节；在解码器部分引入自注意力机制，显著增加了模型的感受野，
PDF21 days ago
SinkLoRA：增强效率与聊天能力的大型长文本语言模型
扩展 Transformer 模型以适应更长的序列长度是一项关键挑战，本文提出了 SinkLoRA 作为应对策略，通过改进工作分配和应用高效的缓存压缩算法来提高模型性能。
PDF25 days ago
重新审视注意力权重作为消息传递神经网络的解读
自我注意机制在信息传递神经网络（MPNNs）中得到了采用，它自适应地控制着沿着底层图的边缘流动的信息量。然而，现有的研究通常使用简单的计算方法来从注意力中推导出归因分数，并且不考虑边缘归属的精确和谨慎计算。
PDFa month ago
Loki: 用于高效稀疏注意力的低秩键
我们提出了一种基于低维空间计算注意力的稀疏注意力方法 Loki，该方法在推理阶段可以更好地保持模型的效力，并通过减少数据移动和计算成本来加快注意力计算。
PDFa month ago
EMNLP聚焦核心：通过裁剪令牌压缩实现高效的文档分类注意力
通过结合令牌修剪和令牌合并的策略，我们在基于 Transformer 模型的基础上提出了改进的方法，既提高了模型的性能，又降低了计算需求。在各种数据集上的实验证明，与基准模型相比，我们的方法在准确度上提升了 5% p，F1 得分提升了 5.
PDFa month ago
SketchDeco: 用色彩装饰黑白素描
这篇论文介绍了一种新颖的素描彩色化方法，利用区域掩码和调色板实现了对图像的直观用户控制，同时结合了控制网和分段生成、稳定扩散 v1.5、BLIP-2 文本提示等创新策略，解决了局部和全局一致性的挑战，生成了忠实的图像彩色化工具。
PDFa month ago
将变形金刚中的上下文学习链接到人类的情节记忆
通过研究注意力头与人类情节记忆之间的关系，我们发现 Transformers 模型和自注意机制的缺失，并发现在大型语言模型中诱导头的行为、功能和机制与人类情节记忆的上下文维护和检索（CMR）模型有相似之处。我们的研究揭示了 LLMs 的计算
PDFa month ago
基于离散余弦变换的去相关注意力视觉转换
Transformer 架构的关键是自注意机制，本文提出两种方法，一种是利用 DCT 系数进行初始化来增强辨别能力，另一种是基于 DCT 的压缩技术来减少计算开销。
PDFa month ago
使用结构化矩阵增强的 X 转换器进行长序列时间序列预测
通过引入 Surrogate Attention Blocks 和 Surrogate FFN Blocks，提出了一种新颖的针对长序列时间序列预测问题的 Transformer 模型的架构设计，以提高模型的效率而不牺牲准确性。在涵盖了九个
PDFa month ago
Conv-Basis：Transformer 中高效注意力推理与梯度计算的新范式
大型语言模型对世界产生了深远影响，其中自注意机制是 transformer 在大型语言模型中取得成功的关键。然而，长度为 n 的输入序列带来的二次计算复杂度 O (n^2) 一直是对提高和扩展更长上下文的一个难以克服的障碍。本文利用注意力矩
PDF2 months ago
关于视觉曼巴的调查
该研究综述了 Mamba 模型在计算机视觉领域的基本概念和优化方法，并介绍了它们在不同层次的视觉任务中的广泛应用，旨在引起学术界对当前挑战的关注并进一步应用 Mamba 模型于计算机视觉。
PDF2 months ago
基于 Transformer 的多模态脑卒中治疗分类结果预测
本研究提出了一种基于 Transformer 架构和自注意机制的多模态融合框架 Multitrans，通过将非对比度计算机断层成像（NCCT）图像和中风治疗患者的出院诊断报告结合起来，使用一种基于 Transformer 架构的多种方法来预
PDF2 months ago
基于混合卷积神经网络 - 变换器架构的胸部 X 射线疾病计算机辅助诊断
通过将 DenseNet121 卷积神经网络与自注意力机制相结合的 SA-DenseNet121 模型，可以在胸部 X 射线中识别多种胸部疾病，并在诊断工作流程中提供支持，改善效率并减少诊断错误。
PDF3 months ago
IJCAILongVQ: 基于结构化记忆的长序列建模与向量量化
长序列模型中，使用了 LongVQ 方法以更有效地利用向量量化技术来压缩全局抽象，并以线性时间计算注意力矩阵，有效地解决长距离依赖问题。
PDF3 months ago
MLP 可以成为优秀的 Transformer 学习器
通过对非必要的 attention layers 进行选择性去除，本文提出了一种简化视觉 transformer 并减少计算负载的新策略，通过熵的考虑，将不具信息量的 attention layers 整合到相应的 MLP 中，实现仅在某些
PDF3 months ago
用于功能磁共振成像的鲁棒刚性切片到体积配准的自注意力模型
通过引入自我关注机制，本研究提出了一种用于将 2D 功能磁共振成像切片与 3D 参考体积对齐的端到端切片级运动校正模型，以增强其对输入数据变化和不确定性的鲁棒性，并实现实时头部运动跟踪。
PDF3 months ago
SIGIREulerFormer：基于复杂向量注意力的顺序用户行为建模
该研究提出了一种名为 EulerFormer 的新型变体 Transformer 模型，利用复向量注意力机制动态地整合语义差异和位置差异，并通过相位对比学习任务来改善上下文表示的各向异性。在四个公共数据集上进行的广泛实验证明了该方法的有效性
PDF3 months ago
SASQuaTCh：一种带有基于核的自注意力的新型变分量子变换器架构的学习
利用基于核操作学习的自我注意力机制的量子电路，我们提出了 Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh) 模型，该模型能够有效地表示视觉变换网络的深层特征，
PDF3 months ago
CVPRSpikingResformer: 在脉冲神经网络中连接 ResNet 和 Vision Transformer
提出了一种名为 Dual Spike Self-Attention (DSSA) 的新型脉冲自注意机制以及相应的 Spiking Neural Networks 架构，命名为 SpikingResformer，通过将 ResNet-base
PDF3 months ago
自注意力机制下的下一个标记预测机制
自我注意力机制通过梯度下降训练能够学习自动生成下一个标记符号的自动机，其中学习步骤分为硬检索和软组合，梯度下降隐式地发现强连接组件并选择高优先级组件，以加工序列数据。
PDF4 months ago