transformer block | BriefGPT

关键词transformer block

搜索结果 - 12

大型语言模型中的出现量化
我们提出了一种可量化的解决方案来估计新现象，在动力学中受到新兴主义启发，通过将转换器块中的表示计算的宏观（语义）级别和微观（令牌）级别的熵减进行比较，以量化新现象的强度。
PDFa month ago
Any2Point：强化各模态大型模型以实现高效的三维理解
Any2Point 是一种参数高效的方法，通过引入虚拟投影策略和引导适配器模块，使得基于任何模态（视觉、语言、音频）的大型模型能够进行 3D 理解，并且在实验中展示了方法的有效性和高效性。
PDF3 months ago
点石成金：提升多曝光图像融合的分层特征
在多曝光图像融合领域，本研究提出了一种使用深度学习网络的新方法，通过引入伽马校正模块和改进的 Transformer 模块实现对图像的融合和色彩增强。
PDF3 months ago
注意力提示调整：参数高效的预训练模型适应时空建模
通过在 transformer 模块的键和值中直接插入提示信息，我们提出了注意力提示调整（Attention Prompt Tuning，APT）方法，从而在视频行为识别中大大减少了浮点运算和延迟，并在 UCF101、HMDB51 和 SS
PDF4 months ago
基于摄像头的并行脉冲驱动变压器远程光电容识别
本文提出了一种基于脉冲神经网络的混合神经网络模型 Spiking-PhyFormer，该模型在保持性能的同时，相较于 PhysFormer 和其他基于 ANN 的模型降低了 12.4% 的功耗，并将变压器块的功耗降低了 12.2 倍。
PDF5 months ago
通过稀疏率减少实现的白盒变压器：压缩无外乎此
我们认为表示学习的自然目标是将数据的分布压缩和转换为支持在不相关子空间上的低维高斯混合模型。我们通过基于名为稀疏率减少的原则性度量评估这种表示的好坏，该度量同时最大化所学表示的内在信息增益和外在稀疏性。从这个角度来看，包括变压器在内的流行深
PDF7 months ago
ICCV基于光照感知伽马校正和完整图像建模网络的低光照图像增强
本文提出了一种新颖的网络结构，利用感知偏差照明方式和完整图像建模来解决低光照图像增强问题。通过将伽马校正的有效性与深度网络的强建模能力相结合，我们能够粗到细地自适应地感知偏离的照明来学习校正因子伽马。通过使用泰勒级数近似伽马校正，加速了训练
PDFa year ago
2-D SSM：用于视觉 Transformer 的通用空间层
该研究旨在设计拥有适当 2D 归纳偏倚的计算机视觉模型。通过引入一种多维状态空间模型（SSM）的表现形式，这种方法有效地促进了 Vision Transformers（ViT）的性能。ViT 的新层引入了高效参数化，加速计算和合适的归一化方
PDFa year ago
通过稀疏率降低白盒 Transformer 模型复杂度
本研究旨在将表示学习的对象转化为一组符合不相关子空间中的低维高斯分布混合物，通过稀疏率降低统一目标函数的质量用以衡量终极表示。同时，我们揭露了标准变压器块可以从这个目标的互补部分的交替优化中推导出来，并通过各种真实世界视觉数据集的实验表明，
PDFa year ago
XFormer: 快速准确的单目三维人体捕捉
XFormer 是一种新型的人体网格和动作捕捉方法，能够仅用单目图像即可实现在普通 CPU 上的实时性能，并能够高效地训练于多种数据集，其关键在于跨模态的 transformer block。
PDFa year ago
SpikeGPT：使用脉冲神经网络的预训练生成语言模型
本文提出了基于 SNN 的生成语言模型 SpikeGPT，利用二进制、SNN 的事件驱动稀疏激活单元，将传统的注意力机制修改为逐步输入机制，并在多个数据集上验证了其性能与能耗，结果表明 SpikeGPT 在处理自然语言生成任务时表现出色并且
PDFa year ago
EMNLPUniRel: 联合关系三元组抽取的统一表示与交互
本文介绍了 UniRel，一种在两种常见的关系三元组提取数据集上表现更出色和计算效率更高的方法，该方法主要使用 Interaction Map 和 Transformer Block 在自然语言序列中联合编码实体和关系的表示。
PDF2 years ago