attention blocks | BriefGPT

关键词attention blocks

搜索结果 - 8

IJCAI全球 Clipper：增强基于 Transformer 的目标检测模型的安全性和可靠性
通过引入全局剪贴板和全局混合剪贴板的有效缓解策略，该研究旨在增强基于 Transformer 模型的鲁棒性，减少软错误导致的错误推断，并对注意力块在 Transformer 中的独特方面及其与 CNNs 的操作差异进行了详细研究。
PDFa month ago
TransFusion: 基于 Transformer 的对比学习
这篇论文提出了一种新的框架 TransFusion，旨在使对比学习的过程更具分析性和可解释性，进而通过最小化 Jensen-Shannon 散度来训练模型，提取并分类复杂真实世界数据中的特征，从而提高下游任务的分类准确性。
PDF3 months ago
自主道路修复中的多类道路缺陷检测与分割，基于空间和通道注意力
道路路面检测和分割是开发自主道路修复系统的关键，然而，由于道路路面图像的纹理简单、缺陷几何的多样性以及类别之间形态的模糊性，同时执行多类别缺陷检测和分割的实例分割方法具有挑战性。我们提出了一种新颖的端到端方法，用于多类别道路缺陷检测和分割，
PDF5 months ago
仅使用基于注意力的神经网络进行图像压缩
本研究探讨了只使用注意力层进行图像压缩的可行性，并在我们的新模型 QPressFormer 中引入了学习的图像查询的概念，通过交叉注意力聚合补丁信息，然后进行量化和编码技术，通过对 Kodak、DIV2K 和 CLIC 数据集进行全面评估，
PDF9 months ago
HIC-YOLOv5：改进的 YOLOv5 用于小物体检测
在小物体检测领域，针对计算代价大且预测性能有待提高的问题，提出了一种改进的 YOLOv5 模型：HIC-YOLOv5。它通过添加特定于小物体的额外预测头部以提供更高分辨率的特征图进行更精确的预测，采用了 involution 块在主干网和
PDF9 months ago
用于高效物体跟踪的可分离的自注意力与混合注意力变换器
本文提出了一种用于轻量级追踪的高效自适应混合注意力变压器架构，实现了对相关轻量级追踪策略的显著改进，达到了先进的性能，在多个数据集上运行时帧率较高，参数量较小。
PDF10 months ago
SCANet: 自我和交叉注意网络用于音视频语音分离
提出了一种名为自注意力网络（SCANet）的模型，通过利用注意机制实现有效的音频 - 视觉特征融合，其中包含了自注意力块（SA）和交叉注意力块（CA），能够从音频 - 视觉特征中提取不同的语义信息，并在三个标准音频 - 视觉分离基准上得到了
PDFa year ago
使用迭代式注意力块的受条件控制的人类轨迹预测
本文通过利用神经网络的注意力机制和迭代逐步学习的方式，结合环境因素预测市区环境下行人位置的运动，成功构建了一个简单、高效的行人轨迹预测模型，并证明了该模型在不需要引入实体掩码、动态模型、社交池层或类似图形结构方面，也能够与 SoTA 模型相
PDF2 years ago