multi-modal features | BriefGPT

关键词multi-modal features

搜索结果 - 22

M3DM-NR：RGB-3D 多模态去噪工业异常检测
该研究论文介绍了 RGB-3D 多模态噪声异常检测的新方法 M3DM-NR，通过利用 CLIP 的强大多模态区分能力，提出了噪声抵抗型的框架，并通过阶段性的处理实现了训练样本的去噪，最终实现了 3D-RGB 多模态噪声异常检测与分割，超过了
PDFa month ago
混合模态知识专家用于鲁棒的多模态知识图补全
多模态知识图谱补全 (MMKGC) 旨在通过协同建模大量三元组中隐藏的结构信息和实体的多模态特征，自动发现给定的多模态知识图谱中的新知识三元组。我们引入了一种新颖的 MMKGC 框架，即混合模态知识专家 (MoMoK)，来学习在复杂关系环境
PDFa month ago
融合与校准：一种双向的视觉语言引导的用于指代图像分割的框架
本文介绍了 FCNet（一个使用双向引导融合方法的框架），其中视觉和语言在引导角色中相互作用，旨在解决自然语言描述与像素级细节之间的关联问题，并通过在多模态特征上进行初始融合和进一步校准，提高多模态特征的质量。实验结果表明，我们的方法在多个
PDFa month ago
利用全局时间语义知识的视频句子定位
利用伪查询特征加强领域间的联通，提高视觉和语言之间的特征对齐，以实现更好的时间句子定位。
PDF2 months ago
标定与重建：用于指代图像分割的深度集成语言
利用 CRFormer 模型，通过连续校准多模态特征，引入语言重建模块和重建损失，解决自然语言表达的图像分割问题，并在多个数据集上表现优于现有方法。
PDF3 months ago
探索自三重相关和交叉三重相关对于人 - 物体交互检测的影响
探索自身和交叉三元组相关性用于人物 - 物体交互检测，通过融合多模态特征和考虑实例、语义和布局关系，结合 CLIP 模型进行知识蒸馏，以提高 HOI 检测的准确性。
PDF6 months ago
无监督多模态特征对齐的时间序列表示学习
我们的研究提出了一种创新方法，通过对齐和绑定不同模态的时间序列表示，以引导神经编码器揭示这些多模态特征之间的潜在模式关联，从而解决了由于复杂的特征融合方法和对异质特征的依赖导致的扩展性问题，并在多个应用领域的不同时间序列数据集上验证了该方法
PDF7 months ago
MARIS: 基于共互关注特征的图像指代分割
通过引入互感关注机制来强化交叉模态融合，提出了一种新的参考图像分割方法 MARIS，借助于 Segment Anything Model (SAM)，通过两个并行分支，Vision-Guided Attention 和 Language-G
PDF7 months ago
MM基于骨架的动作理解的统一多模态无监督表示学习
无监督预训练及早融合策略的统一多模态无监督表示学习框架（UmURL）旨在提取骨架输入的统一表示，通过特征分解和对齐保证多模态特征包含各模态的完整语义，并在各种场景中实现鲁棒动作理解。该框架在三个大规模数据集上取得了新的多种下游任务场景中骨架
PDF8 months ago
AntM$^{2}$C: 多方案多模态 CTR 预测的大规模数据集
基于 AntM$^{2}$C，本文提出了多场景多模态点击率数据集，涵盖广告、优惠券、小程序、内容和视频等 5 种不同类型的项目，提供了除基于 ID 的特征外，原始文本和图像特征的多模态特征，共有 10 亿次点击率数据，是目前最大规模的点击率
PDF10 months ago
图像 - 语言学习的联合自适应表示
通过联合学习紧凑的视觉和语言表示形式以及使用自适应的、迭代融合多模态特征的方法来实现图像 - 语言学习，并增加数据效率和降低计算复杂度。该方法相比于当前流行的图像 - 语言模型而言，可降低 33% 的浮点数操作次数，同时提高性能，而只需要较
PDFa year ago
光场显著目标检测的引导式焦距叠加细化网络
本研究提出了一种新的带引导的聚焦层栈细化神经网络（GFRNet）来优化轻场景中显著目标检测的性能，并利用多模态特征引导进行精细化的聚焦细化。
PDFa year ago
MDENet：用于恶意软件开放集识别的多模态双嵌入网络
本文提出了基于多模态双重嵌入网络 (MDENet) 的恶意软件开放集识别方法，该方法利用来自不同模态的综合特征以增强恶意软件特征空间的代表性和可区分性，并将融合的多模态表示双重嵌入到一个主空间和一个相关子空间中，以实现分类和检测。实验结果表
PDFa year ago
AAAI面向语义的动态本地化和细化，用于指代图像分割
本论文提出一种基于逐步学习区分性多模态特征的方法，通过不断更新查询作为目标对象的表示，强化与之相关的多模态特征，逐渐从定位中心转为分割中心，实现逐步修复缺失对象部分和 / 或去除多余部分，并在 RefCOCO、RefCOCO+ 和 G-Re
PDFa year ago
LipFormer: 基于视觉地标变换器学习从未见过说话者的唇读
该论文介绍了一种新的语音识别方法：LipFormer，它使用了视觉和标记反映的多模态特征，使得它能够对不同的嘴唇颜色和形状产生的可见变化具有鲁棒性，并且在未知的发言人上表现出出色的泛化性能。
PDFa year ago
EMNLPMGDoc: 多粒度分层预训练用于文档图像理解
我们提出了一个名为 MGDoc 的新的多模态、多粒度预训练框架，通过使用统一的文本 - 视觉编码器来获得不同粒度的多模态特征，以便把多个粒度的特征投影到相同的超空间中，并设计了跨粒度的注意机制和特定的预训练任务来建模区域和单词之间的关系，并
PDF2 years ago
基于上下文统一可解释学习的视频讲座用户参与度
本文提出了 CLUE 模型，采用多模态特征学习从在线教学视频中提取特征，并提供可解释反馈和用户参与度得分。
PDF2 years ago
MM用于人 - 物交互识别的时空交互图解析神经网络
该论文提出了一种基于 Spatio-Temporal Interaction Graph Parsing Networks（STIGPN）的视频人物 - 物体交互识别架构，采用多模态特征融合策略，借助空间和时间关系及语义信息构建图结构，取得
PDF3 years ago
基于轨迹感知多模态特征的视频关系检测
本文提出了利用轨迹感知的多模态特征进行视频关系检测，并将此任务分解为物体检测、轨迹提案和关系预测三个子任务，利用最先进的物体检测方法和多模态特征表示来帮助检测物体之间的关系。我们的方法在 ACM Multimedia 2020 的视频关系理
PDF3 years ago
CVPR学习视觉语义嵌入的最佳池化策略
Visual Semantic Embedding 使用多模态特征进行复杂的嵌入，但该研究发现，全局池化函数（例如最大池化）的简单选择优于这些复杂的模型，因此，它们提出了一个名为 GPO 的广义池化运算符来自动适应不同特征的最佳池化策略，并
PDF4 years ago