attention layers | BriefGPT

关键词attention layers

搜索结果 - 27

Transformer 从语言到视觉到 MOT 的发展：对基于 Transformer 的多目标跟踪的文献综述
transformer 神经网络结构通过注意力机制实现自回归的序列到序列建模，在自然语言处理和计算机视觉等领域取得了重大突破。本文综述了在计算机视觉领域中应用 transformer 的主要进展，并针对多目标跟踪 (MOT) 进行讨论，指出
PDF10 days ago
Transformer 模型中的关键要素：并非所有的注意力都是必要的
通过使用基于相似性的度量标准，本文研究了 Transformer 中不同模块（如 Blocks、MLP 和 Attention 层）之间的冗余性变化，发现一大部分 Attention 层可以被安全剪枝，从而降低内存和计算成本，并提出了一种同
PDF12 days ago
使用具有注意力层的卷积神经网络从地震振幅中高分辨率地检测地球结构异质性
提出一种使用卷积神经网络和注意力层结合的高效且具有成本效益的架构，用于检测地震结构异质性，通过利用合成数据进行迁移学习以训练和微调模型，解决有限标注数据可用性的挑战。
PDF3 months ago
ICLR基于结构化状态空间的高效视频生成：SSM 遇见视频扩散模型
基于扩散模型，我们提出利用状态空间模型进行视频生成，以解决注意力机制对内存的消耗随序列长度增加而呈二次增长的限制，并通过实验证明在更长的视频序列生成中，我们的基于状态空间模型的方法能够显著节省内存消耗同时保持与基于注意力模型竞争力的结果。
PDF4 months ago
稳定传播中文本引导图像编辑中跨域与自注意力的理解
通过对 Stable Diffusion 模型进行深入分析，发现交叉注意力映射中的对象归属信息容易导致编辑失败，而自我注意力映射在源图像到目标图像的转换过程中起到了关键保留几何和形状细节的作用。在此基础上，我们提出了一种更简化、更稳定、更高
PDF4 months ago
关于注意力层的词敏感性理解：通过随机特征的研究
通过对随机特征的原型设定研究词敏感性，我们展示了注意力层在自然语言处理任务中具有较高的词敏感性，同时更好地理解了为何注意力层适用于这些任务，从而揭示出它相比其他激活函数（如 ReLU）具有的优势。同时，我们将词敏感性的结果转化为泛化界限，验
PDF5 months ago
ICLR论多模态推理中神经网络的泛化能力
评估了多模态泛化的综合性能，发现多层注意力和跨模态注意力是整合多模态输入所需的关键架构特征，但对于有限类型的多模态泛化存在基本限制，强调了现代神经模型在多模态推理方面的优势和局限性。
PDF5 months ago
从分层分布的神经表征的光谱聚类中解读 'What' 和 'Where' 视觉通路
我们提出了一种从大规模预训练视觉模型的行为中提取空间布局和语义分割的方法，通过分析神经网络激活中的分组信息，利用所有层的特征实现对网络激活状态的整体分析，而无需猜测模型的哪个部分包含相关信息。通过基于梯度下降的优化目标在各个层中的特征比较得
PDF7 months ago
一个研究合成的、可解释任务中 Transformer 能达到的能力水平
通过对一系列广泛而系统的实验，本文展示了：（1）自回归 Transformer 模型可以学习训练数据中的组合结构，并能够推广到指数甚至组合数量的函数；（2）通过生成中间输出来组合函数比不生成中间输出更有效地推广到未见过的组合；（3）训练数据
PDF7 months ago
大规模 Transformer 训练不稳定性的小规模代理
在本文中，我们研究了训练稳定性和不稳定性在小规模下的再现和研究方法，重点关注了注意力层中逻辑增长和输出逻辑概率分歧的两个训练不稳定性来源，并研究了学习率、优化器和模型干预对最终损失的敏感性的影响，以及通过研究模型激活和梯度范数的缩放行为来预
PDF9 months ago
单个注意力层可以学到什么？基于随机特征的研究
注意力层是 Transformer 架构的核心组成部分，本研究对单个多头注意力层的学习和泛化进行了严格的理论研究，探讨了随机特征设置下注意力层对目标函数的表达能力、学习复杂度以及采样分布的影响等方面，实验证明了理论结果并展示了样本大小与目标
PDFa year ago
Transformer 的表征能力与局限性
本研究通过分析注意力层及其所在的变形器模型的表示能力，探讨这些模型相对于其他架构的优势和劣势，并重点关注了它们的内在复杂度参数，例如宽度、深度和嵌入维度。在正面方面，我们提出了一个稀疏平均任务，并证明了循环网络和前馈网络的复杂性随着输入规模
PDFa year ago
Transformers 学会使用预条件的梯度下降进行上下文学习
通过线性变压器在随机线性回归实例中的全局最小值，我们证明了经过训练的线性变压器的单个关注层实现了预处理的梯度下降的单个迭代，并证明了训练目标的某些临界点实现了 k 次预处理的梯度下降。
PDFa year ago
基于元素的注意力层：一种优化选项
本文提出了一种新的注意力机制，并通过将 Dot-Product Attention 中的矩阵乘法转换成数组乘法来实现元素级别的注意力，从而在保持实验精度的同时减少了网络的参数量。在 Fashion MNIST 和 CIFAR10 数据集上的
PDFa year ago
通过注意力和多视角特征融合策略提高肾结石识别
本研究提出了一种基于深度学习的方法，以从内窥镜不同视角获取的肾结石碎片相关信息。通过在每个卷积块的末端添加注意力层，联合使用表面和切面碎片图像来训练分类器，从而改善特征的区分能力，进而模拟进行这种形态构成分析的方法，与此同时，在深度特征的融
PDF2 years ago
基于 Conformer 的自注意力头多样性分析
本文研究了多头注意力机制在端到端自动语音识别系统中的应用，通过分析多个注意头之间的差异并探究不同的训练方法来提高多头之间的多样性，得出使用促进多头注意头多样性的辅助损失函数更有效，并在 Librispeech 数据集上实现了高达 6% 的相
PDF2 years ago
Z-Code++：用于抽象文摘优化的预训练语言模型
本文介绍了一种新的经过预训练的语言模型 Z-Code++, 通过使用三个技术，即两阶段预训练过程，将编码器中的自注意力层替换为解耦注意层以及在编码器中使用融合编码方法，创造了新的最先进的基于文本摘要任务的模型，它在五种语言的 13 个文本摘
PDF2 years ago
LegoFormer：面块级别多视角三维重构的变形器
LegoFormer 是一种基于 transformer 模型的体素 3D 重建技术，通过使用自注意力层在所有计算阶段分享视角之间的信息，并将输出分解为低秩矩阵，从而实现对各个独立结构的预测和聚合，具有竞争性的性能和可解释性的优点，可用于现
PDF3 years ago
CR-Fill: 生成式图像修复与辅助上下文重建
通过同时训练辅助的上下文重建任务和修复生成器，我们提出了一种生成器无关的设计来解决存在困难的视觉填充问题，该设计在推理期间只需要差补生成器。实验结果表明，该方法在定量和视觉性能方面表现优于现有技术。
PDF4 years ago
EMNLP学习使用 Denotation Graph 表示图片和文本
本文提出利用暗示的视觉引导表达学习表示，自动地从图像和文本的数据集中挖掘出的结构关系，用于多模态学习模型中的视觉语言融合任务，证明了该方法在跨模态图片检索、指代表达和组合属性对象识别中的有效性。
PDF4 years ago