transformer structure | BriefGPT

关键词transformer structure

搜索结果 - 6

RankMamba，在变形金刚时代评估 Mamba 的文档排名性能
通过在经典的 IR 任务 - 文档排序中考察 Mamba 的效果，我们发现 Mamba 模型在与具有相同训练方法的基于 Transformer 的模型相比具有有竞争力的性能，但与 flash attention 等高效的 Transform
PDF3 months ago
UniST: 达到统一化的显著性转换器用于视频显著性预测与检测
我们介绍了统一显著性转换（UniST）框架，通过综合利用视频显著性预测和视频显著物体检测的关键特性，提取帧序列的表示并设计一个考虑显著性的变换器，在逐渐增加的分辨率上学习时空表示，同时结合跨尺度显著性信息生成鲁棒的表示。根据可信的实验证明，
PDF10 months ago
ECCVCenterFormer：基于中心点的 Transformer 用于 3D 物体检测
本文提出了一种基于中心点的变换网络 ——CenterFormer，它使用查询嵌入来聚合中心候选点的特征向量，并设计了一种通过交叉注意力来融合多帧特征的方法。在 Waymo Open 数据集上，CenterFormer 在单个模型上实现了先进
PDF2 years ago
AAAI探索实体交互以进行小样本关系学习（学生摘要）
本文介绍了一种基于序列化和 Transformer 结构的模型 TransAM，以捕捉三元组内部和跨三元组的实体交互，以解决 Few-shot 关系学习问题。在两个公共基准数据集 NELL-One 和 Wiki-One 上的实验表明了 Tr
PDF2 years ago
基于 Transformer 的多模式神经网络用于自动驾驶的运动预测
本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹，其中采用了多模态注意机制来解决运动预测的多模态问题，并在 Argoverse 运动预测数据集上得到了最佳预测精度。
PDF3 years ago
IJCAI稀疏边界感知 Transformer 的视频字幕生成 (SBAT)
本研究关注将 Transformer 结构应用于视频字幕生成的问题，提出了一种称作 Sparse Boundary-Aware Transformer (SBAT) 的方法来减少视频表征冗余，通过对多头注意力得分的边界感知池化操作和来自不同
PDF4 years ago