multi-modal attention | BriefGPT

关键词multi-modal attention

搜索结果 - 8

NFTs 到火星：多注意力推荐系统
本文针对非同质化代币（NFT）这个新兴和经济重要的市场，提出了一种叫做 NFT-MARS 的基于多注意力机制的推荐系统，来应对该市场中的挑战，其中该系统特别关注于解决用户 - 项目交互稀疏和多模式特征偏好的问题，并演示了该系统的有效性。
PDFa year ago
基于 Transformer 的多模式神经网络用于自动驾驶的运动预测
本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹，其中采用了多模态注意机制来解决运动预测的多模态问题，并在 Argoverse 运动预测数据集上得到了最佳预测精度。
PDF3 years ago
ECCV学习预测显著面孔：一种新的视听显著性模型
本文通过建立大规模的多人面部视频音频条件下的视线跟踪数据库，研究声音对多人面部视频视觉线索的影响，并提出了一种新的多模式视频显着性模型，包括三种分支：视觉，音频和面部，实验结果表明该方法胜过 11 种现有的显着性预测方法。
PDF3 years ago
EMNLP跨媒体关键词预测：一个统一的框架，配备多模态多头注意力和图像措辞
本文研究了使用多模态多头自注意力机制和图像文字化技术，提高社交媒体帖子中关键词预测的效果，并在 Twitter 上的大规模数据集中获得了优异的表现。
PDF4 years ago
CVPR实体感知新闻图像标题生成
该研究提出了一种端到端模型，用于为嵌入新闻文章的图像生成标题。该模型采用多模态，多头注意力机制，结合字节对编码的转换器语言模型来应对命名实体识别、多义词汇等问题，并在 CIDEr 评分上实现了当前最高水平的四倍提升。
PDF4 years ago
AAAIDMRM: 用于视觉对话的双通道多跳推理模型
提出了一种新的视觉对话模型 DMRM，通过双通道多跳推理结合多模态注意力，有效地将问题、图像和历史上下文信息融合，从而提高了视觉对话的生成质量。在 VisDial v0.9 和 v1.0 数据集上，DMRM 模型的实验结果表明，相比较其他模
PDF5 years ago
ICCV视觉对话的颗粒多模态注意力网络
本研究提出了一种新的方法，即颗粒多模态注意力，以解决视觉对话任务时需要关注的正确颗粒度的问题。该方法在图像和文本关注网络中得到了改进，并提出了一种粒度多模态注意力网络，可以同时关注图像和文本颗粒，并展现出最佳的性能。该研究发现，获得颗粒注意
PDF5 years ago
NIPS基于多模态注意力神经网络的抗癌化合物敏感性预测
本文提出了一种新颖的基于多模态注意力神经网络（PaccMann）预测抗癌化合物敏感性的方法，集成了化合物的分子结构、癌细胞的转录组文件以及关于细胞内蛋白质相互作用的先前知识，通过用 SMILES 编码的化合物和癌细胞的基因表达谱预测 IC5
PDF6 years ago