cross-attention mechanism | BriefGPT

关键词cross-attention mechanism

搜索结果 - 32

基于视觉转换器的脑肿瘤分类方法，借助选择性跨注意力机制和特征校准
提出了一种利用具有新型跨注意力机制的视觉变换器进行脑肿瘤分类的新方法，该方法充分发挥了变换器在建模长距离依赖性和多尺度特征融合方面的优势。实验证明，该方法在脑肿瘤分类中胜过其他最先进的方法，实现了更高的准确性和效率。所提出的特征校准机制和选
PDF9 days ago
多模态引导的开放词汇时态行为定位
OVFormer 是一种新型的开放词汇框架，通过使用任务特定的提示作为输入，利用大型语言模型获得行动类别的丰富描述，并引入了交叉注意机制来学习类别表示和帧级视频特征之间的对齐，以及采用了两阶段训练策略，包括与更大词汇数据集的训练和对下游数据
PDF13 days ago
动态多模式及视角选择用于缺失模态的多模式情感识别
这项研究的重点是评估两种策略在缺少一个感知模态的情况下的表现和韧性：一种新颖的多模式动态模态和视角选择方法以及一种交叉注意机制。RECOLA 数据集上的结果表明动态选择方法是一种有前景的多模态情感识别方法。在缺失模态的场景下，所有基于动态选
PDF3 months ago
CVPR语义脸部图像合成的对抗性身份注入
通过使用一个交叉注意力机制来合并身份、风格和语义特征生成尽可能与输入相似的人脸的 SIS 架构，不仅适用于保护身份，而且在面部识别对抗攻击中也是有效的。
PDF3 months ago
CVPR驯服文本到 360° 全景图像生成的稳定扩散
通过双分支扩散模型 PanFusion，从文本提示生成 360 度全景图像，并使用投影感知的独特交叉注意机制提供协作降噪过程中的最小畸变。
PDF3 months ago
基于 LiDAR 引导的交叉注意力融合方法用于高光谱波段选择和图像分类
本文介绍了一种从变压器架构引入的交叉注意机制，用于根据 LiDAR 数据进行高光谱图像 (HSI) 波段的选择。通过将 LiDAR 数据用作 “查询” 以搜索和识别 HSI 中的 “关键”，选择与 LiDAR 最相关的波段，以显著减少冗余和
PDF3 months ago
语言引导的图像反射分离
本文研究了语言引导的反射分离问题，通过引入语言描述以提供层次内容，解决了反射分离问题。我们提出了一个统一的框架来解决这个问题，该框架利用交叉注意力机制和对比学习策略构建语言描述和图像层之间的对应关系。采用门控网络设计和随机训练策略来处理可识
PDF4 months ago
大型语言模型的交叉注意力水印技术
语言模型的语言水印技术通过交叉注意力机制在输出文本中嵌入信息，保持其可读性和原始含义，本文提出了两种使用交叉注意力的方法，最小化对预训练模型性能的影响。研究了优化水印技术的不同训练策略以及在实际应用中的挑战和影响，阐明了水印鲁棒性和文本质量
PDF6 months ago
FusDom: 结合领域内外知识进行持续自监督学习
本文介绍了一种名为 FusDom 的简单而创新的基于自监督学习的连续预训练方法，通过在两个具有修改的预训练头部的相同自监督学习模型之间使用交叉注意机制，实现有弹性且不遗忘过去所见概念的语音表示学习，从而改进了在目标领域的自动语音识别性能。
PDF6 months ago
SEF-VC：无说话人嵌入的零样本声音转换与交叉注意力
SEF-VC 是一种无需说话者嵌入的语音转换模型，通过强大的位置不可知的跨注意力机制从参考语音中学习和融入说话者音色，并以非自回归的方式从 HuBERT 语义标记中重建波形，提高了稳定性和语音转换性能。客观和主观评价证明了 SEF-VC 相
PDF7 months ago
CAST: 视频动作识别中的时空交叉注意力
我们提出了一种新的双流架构，称为 Cross-Attention in Space and Time (CAST)，它使用 RGB 输入实现了对视频的平衡的时空理解。我们的提出的瓶颈交叉注意机制使得空间和时间专家模型能够交换信息并进行协同预
PDF7 months ago
$Z^*$：基于注意力重排的零样式转移
通过理论分析和实验，本研究展示了扩散模型在零样式转换的有效性和优越性，并引入了交叉注意力重排策略，使样式信息能够直接提取并无缝集成到内容图像中。
PDF7 months ago
一个增强的跨注意力模型用于基于事件触发的上下文感知故事生成
我们引入了一种新颖的神经生成模型 EtriCA，它通过采用交叉注意机制将上下文特征映射到事件序列上，通过残差映射增强了生成故事的相关性和连贯性。我们进一步采用了一个后训练框架对大规模书籍语料库进行知识增强，使得 EtriCA 能够适应更广泛
PDF7 months ago
可控主题聚焦抽象摘要
该研究提出了一种基于 Transformer 的架构，能够生成以特定主题为焦点的摘要，并通过修改 Transformer 的交叉注意机制实现主题焦点控制，从而在 NEWTS 数据集上取得了新的最佳表现，并且能够通过微调将该机制应用于不同的
PDF8 months ago
一瞥即足够：通过关注关键词提取目标句子
本研究使用关键词作为输入，探讨从多人说话中提取目标句子的可能性。通过使用 Transformer 架构嵌入关键词和语音，以及借助交叉注意机制从混杂与重叠的语音中选择正确的内容，实验证明该方法在非常嘈杂和混合的语音中（SNR=-3dB）能够有
PDF9 months ago
ICCV迭代原型的手语翻译
该论文介绍了 IP-SLT，这是一个简单而有效的手语翻译框架，通过迭代改善方式，增强了输入手语视频的语义表达（原型）。通过特征提取、原型初始化和迭代原型改进，IP-SLT 能够准确理解手语，并将其流畅和恰当地翻译成文本。
PDF10 months ago
IP-Adapter：面向文本图像扩散模型的文本兼容图像提示适配器
IP-Adapter 是一种有效且轻量级的适配器，通过分离交叉注意力层实现了预训练文本到图像扩散模型的图像提示能力，具有与完全微调的图像提示模型相媲美甚至更好的性能。利用分离的交叉注意力策略，图像提示可以与文本提示良好协作，实现多模态图像生
PDFa year ago
ICCV拍照：点云模型的 3D 到 2D 生成预训练
我们提出了一种新颖的适用于任何点云模型的 3D 到 2D 生成预训练方法，通过交叉注意机制生成来自不同指示姿势的视图图像作为预训练方案，以精确监督帮助 3D 主干更好地理解点云的几何结构和立体关系，实验结果证明了我们提出的方法在提升架构导向
PDFa year ago
分解和重组：解决文本到图像扩散模型中的条件不对齐
本文提出了一种名为 “分解和重新对齐” 的无需训练的方法，通过分离存在于图像和文本之间的对应关系来改善现有模型的可控性，从而实现对部分对齐条件的控制。我们采用交叉注意机制来避免在重新组合分别计算的分数时产生新的冲突，在定性和定量结果上都证明
PDFa year ago
探索应用于紧急呼叫中心语料库的多模态情感识别的注意力机制
本文探讨了基于 CEMO 数据集的语音和文本预训练模型在情感识别上的融合策略，研究表明基于多模态融合的交叉关注机制实现了更好的表现。同时，实验也表明在 CEMO 上，音频编码包含的情感信息比文本更为丰富。
PDFa year ago