co-attention mechanism | BriefGPT

关键词co-attention mechanism

搜索结果 - 9

基于 Co-Attention 的多层声学信息的语音情感识别
本文提出了一种使用新设计的共同关注机制和多层声学信息的端到端语音情感识别系统。这个系统将 MFCC、谱图和嵌入了高水平声学信息的 CNN、BiLSTM 和 wav2vec2 等多层声学信息提取出来，并使用共同关注机制融合提取出来的多模态输入
PDF2 years ago
编码器融合网络和协同关注嵌入用于参照图像分割
本论文提出了一种图像分割方法，即采用编码器融合网络（EFN）将视觉编码器转换为多模态特征学习网络，利用语言逐步优化多模态特征；在 EFN 中嵌入了协同注意机制，使得多模态特征的平行更新更具协同性，同时提出了边界增强模块（BEM）来增强网络对
PDF3 years ago
WWW多视图子空间学习的深度共注意力网络
本研究提出了一种基于深度学习的共同关注网络，用于多模态数据的子空间学习，能够提取共性信息和补充信息，并通过协同关注机制向最终用户提供预测的解释。通过引入分类器和交叉重构损失以优化潜在表示和加速收敛速度，最终在合成数据和实际数据集上进行了广泛
PDF3 years ago
MM自监督视听表示学习的协同关注网络
本文提出了一种基于自我监督和共注意力机制的框架，通过区分具有关联性的视觉和声音信息，提出了三种不同的共注意力模块以训练神经网络，并通过测试了解了该方法的广泛和可转移性，成功地在先前的任务中取得了最先进的结果，解决了多声源场景的问题。
PDF4 years ago
IJCAI使用视觉和语义嵌入的共同关注实现弱监督的少样本目标分割
本文提出了一种基于多模态交互模块的小样本物体分割方法，该方法利用视觉和词嵌入的协同注意机制，使用图像级标签在 PASCAL-5i 数据集上实现了 4.8％的提高，并在 YouTube-VOS 数据集上展示了 TOSFL 实验的实例级和类别
PDF4 years ago
CVPR看得更多，知道得更多：利用联合注意力孪生网络进行无监督视频对象分割
提出了一种名为 COSNet 的新型网络，用于表示全局视角下的无监督视频对象分割任务，其中利用全局注意机制结合视频帧之间的相关性，训练效果超越当前的深度学习方法。
PDF4 years ago
条件变分自编码器用于神经机器翻译
探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能，通过引入连续潜变量来增强编码器 - 解码器 NMT 范例，利用 Inference Network 中的共同关注机制来扩展该模型，使用不同方法试图缓解后验崩溃问题，并且探究学习潜空间的
PDF6 years ago
超越双线性：面向视觉问答的广义多模态分解高阶池化
本文利用深度神经网络中的协同注意机制与通用的多模式高阶因式化池化方法实现多模态特征的融合，使用 KL（Kullback-Leibler）散度作为损失函数，最终实现了优越的视觉问答表现。
PDF7 years ago
ICCV多模式因式双线性池化与 Co-Attention 学习在视觉问答中的应用
开发了一个多模式因式双线性池化（MFB）方法，通过 MFB 方法的融合和对视觉和文本信息的细粒度表示，结合协同注意力机制，在视觉问题回答中达到了最先进的成果。
PDF7 years ago