cross-attention module | BriefGPT

关键词cross-attention module

搜索结果 - 9

VIP: 基于多模态大型语言模型的多功能图像外描绘
本文介绍了一种新颖的图像外延框架，利用多模态大语言模型（MLLM）自动提取和组织给定图像的遮罩部分和非遮罩部分的文本描述，并利用特殊的交叉注意力模块（CTS）增强图像的特定空间区域与文本提示部分之间的交互作用，从而实现了图像外延结果的定制化
PDFa month ago
InfiMM-HD：高分辨率多模态理解的巨大跃进
为了解决多模态大型语言模型在处理高分辨率图像时的准确识别和理解复杂细节方面的挑战，我们提出了 InfiMM-HD，一种专门设计用于处理不同分辨率图像的创新架构，能够提高模型的视觉感知能力，同时降低计算成本。经验证明 InfiMM-HD 具有
PDF4 months ago
多目标跟踪作为关注机制
我们提出了一个概念简单且快速的多目标追踪模型 TicrossNet，该模型只由基本探测器和交叉注意力模块组成，能够实现实时处理，且不会因跟踪对象数量的增加而增加计算成本。
PDFa year ago
CVPRSwinFSR: 使用 SwinIR 和频域知识的立体图像超分辨率
通过使用 Fast Fourier Convolution 和 Residual Swin Transformer 改进的方法和新的 cross-attention 模块，我们提出了一种名为 SwinFSR 的 Stereo Image S
PDFa year ago
ICLR分离和增强：用于尺度不变自监督单目深度估计的双引擎
本研究提出了一种自监督的单目深度估计方法，通过剥离具有尺度敏感性的特征和采取仿真相机缩放的数据增强方法来提高尺度不变性，并使用动态跨尺度交叉注意力模块进一步加强尺度不变特征，在 KITTI 数据集上取得了目前最佳性能。
PDF2 years ago
神经分布式图像压缩与交叉注意特征对齐
本文介绍了一种新的编解码方法，可以压缩成对立体图像并利用解码器端的相关性附加信息，以更有效地重构图像。该算法利用了交叉注意力模块对齐处理相关特征图，实验验证了其在 KITTI 和 Cityscape 数据集上的优越性能。
PDF2 years ago
I-Tuning: 利用图像微调冻结语言模型轻量级图像字幕
本文介绍了一种轻量级图像字幕生成框架（I-Tuning），该框架包含较少的可训练参数，并设计了一种新颖的 I-Tuning 交叉注意力模块，用于连接预先训练的语言解码器 GPT2 和视觉编码器 CLIP-ViT。实验结果表明，该框架与大规模
PDF2 years ago
Query2Label：一种简单的 Transformer 多标签分类方法
本文提出了一种简单而有效的方法来解决多标签分类问题，该方法利用 Transformer 解码器查询类标签的存在，并使用视觉骨干计算的特征图来进行后续的二进制分类，相比于以前的工作，该方法更为简单有效，对于五个多标签分类数据集，包括 MS-C
PDF3 years ago
ACLVECO: 变量和灵活的跨语言预训练模型，用于语言理解和生成
本文提出了一种在 Transformer 编码器中添加交叉注意力模块的方法，用于处理多语言预训练中的语言依赖关系问题，并在多种跨语言任务中获得新的最先进结果。
PDF4 years ago