transformer backbone | BriefGPT

关键词transformer backbone

搜索结果 - 14

ACTrack: 为视觉目标跟踪添加时空条件
我们提出了 ACTrack，一个新的跟踪框架，通过冻结参数来保留预训练的 Transformer 骨干的质量和能力，并使用可训练的轻量级加法网络来建模跟踪中的时空关系，实验结果证明 ACTrack 能够在训练效率和跟踪性能之间取得平衡。
PDF4 months ago
一切于一：走向地球视觉统一基础模型
采用单一的 Transformer 骨干网络，将多种数据模态与不同空间分辨率结合，解决了当前基础模型在地球视觉领域的多个下游任务中的适用性问题。
PDF6 months ago
Diffusion-EXR: 通过扩散模型实现可控的解释推荐的评论生成
基于扩散模型的评论生成为可解释的推荐提出了一种名为 Diffusion-EXR 的方法，并展示了其在两个公开基准数据集上能够达到最先进的评论生成效果。
PDF6 months ago
基于 Transformer 的光学遥感图像显著目标检测
基于全局到局部范式，提出了一种用于光学遥感图像中显著目标检测的全局提取局部探索网络 (GeleNet)。GeleNet 首先采用 Transformer 骨干网络生成四级特征嵌入以捕获全局远程依赖性。然后，GeleNet 利用方向感知的混洗
PDF10 months ago
U 型 Transformer：在时间序列分析中保留高频上下文
时间序列预测是各个工业领域中的关键任务。近年来，具备变换器骨干的神经网络在计算机视觉和自然语言处理等多个领域中取得了显著成功。在时间序列分析领域，一些研究发现即使是最简单的多层感知机网络在时间序列预测任务上也能胜过先进的基于变换器的网络。然
PDFa year ago
CVPR VISION 23 挑战赛轨道 1 的亚军解决方案 -- 高效缺陷检测
本研究介绍了 Aoi-overfifitting-Team 团队解决 Data-Efficient Defect Detection 的技术细节，基于 Hybrid Task Cascade 实例分割算法，借助 CBNetv2 强化基线结果
PDFa year ago
基于 Transformer 的 UNet 结构，采用多头交叉注意力跳跃连接以消除扫描文档中的伪影
本研究使用修改后的 UNet 结构和 Swin Transformer Backbone 移除扫描文档中的典型画面伪影和压缩失真等文档中的 Artifacts，通过多头交叉关注跳过连接实现更具选择性地学习抽象级别。模型的性能在压缩误差、画素
PDFa year ago
图形背后的更多秘密：利用自我监督学习通用特征
研究多图之间自监管的通用特征学习问题，提出了一种使用 transformer 和 neighborhood aggregation 模块来将多个具有不同特征的图的结点向量映射到通用向量空间的方法，实现了在多个相同类型图之间学习通用特征，并在
PDFa year ago
针对医疗史采集的对话语境重新排序
本文提出了一种两阶段的重新排序方法，通过使用对话上下文模型重新排序第一阶段问题的候选项来帮助弥合训练 - 推断差距，从而解决了由于现有系统使用间接数据或专家知识开发而导致的模型训练 - 推理鸿沟问题，并发现相对于专家系统，我们所提出的全局重
PDFa year ago
AAAI使用耦合记号化的 BERT 预训练进行手语识别
利用 BERT 预训练技术和领域特定的统计信息，通过 Pose Triplet Units 训练 SLR 模型，并在四个基准测试中实现了新的最优性能。
PDFa year ago
CVPR视频实例分割的时间高效视觉 Transformer
提出了一种名为 TeViT 的视觉 Transformer，它在视频实例分割任务中高效地对关键的时间信息进行建模，并在三个广泛采用的视觉实例分割基准测试中取得了最新的结果。
PDF2 years ago
ECCVBackbone 是你所需要的一切：一种用于视觉物体跟踪的简化架构
本文提出了一种 Simplified Tracking 架构（SimTrack），通过利用变压器骨干联合特征提取和交互，进一步提高现有的跟踪方法，并通过提出的 foveal 窗口策略降低了视觉变换器的信息损失，提供更多的可接受计算代价的多样
PDF2 years ago
CVPRPointformer 进行的 3D 物体检测
本文提出了一种 3D 点云特征学习模型 Pointformer，其中使用局部和全局 Transformer 模块对点云数据进行建模，结合了多尺度特征，以及使用坐标调整模块改善物体提议生成，成功地应用于室内和室外场景下目标检测任务，并取得了显
PDF4 years ago
MM面向文本的 Transformer 模型用于自动语音发音错误检测
本文提出了一种使用目标文本作为条件的 Transformer 模型，以在完全端到端的方式下输出考虑输入语音与目标文本关系的错误状态，提高了速度，并在 L2-Arctic 数据集上实验表明相对于 ASR-based 模型，提高了 8.4％的
PDF4 years ago