cross-modality | BriefGPT - AI 论文速递

关键词cross-modality

搜索结果 - 23

无监督可见 - 红外再识别：基于伪标签修正和模态层面对齐
无监督可见红外人员重新识别 (UVI-ReID) 是研究的重点，文章提出了一种新的无监督跨模态人员重新识别框架 (PRAISE)，通过修正伪标签和模态层对齐策略来提高性能，并在两个基准数据集上取得了最新的成果。
PDF3 months ago
跨模态步态识别：连接 LiDAR 和相机模态进行人类识别
本研究主要关注于穿越不同传感器跨模态识别行人的步态识别研究，通过提出 CrossGait 方法，利用特征对齐策略进行跨模态数据检索，并通过 Prototypical Modality-shared Attention Module 和 Cr
PDF3 months ago
自我监督的鸟瞰运动预测与跨模态信号
通过引入新颖的跨模态自监督训练框架，本文解决了点云方法中的假流和不一致性问题，提出了三种创新的监督信号来保留场景动作的内在属性，包括遮罩 Chamfer 距离损失、分段刚性损失和时间一致性损失，通过广泛实验证明，我们提出的自监督框架在动作预
PDF5 months ago
图灵提示学习：综述与扩展
人工智能总体智能（AGI）已经在许多领域取得了革命性的成就，然而其与图数据的整合，在我们相互连接的世界中仍然尚未充分开发。本文对图智能的新兴领域进行了开创性的调查，探讨了利用图数据进行 AGI 应用的关键挑战和机遇。尽管在自然语言处理和计算
PDF7 months ago
基于目标的跨模态特征蒸馏的事件型物体检测
我们提出了一种新颖的知识蒸馏方法，通过使用面向对象的槽注意机制来改善事件相机的实时目标检测性能，减小与 RGB 检测器之间的性能差距。
PDF8 months ago
ICCV跨模态医学图像分割的简单而强大的框架: Vision Transformers 应用
通过使用单一的条件模型，根据输入类型调整其归一化层来实现多模态图像的公平图像分割，并在多模态全心分割挑战中优于其他跨模态分割方法。
PDF9 months ago
基于 Transformer 的跨模态肿瘤分割的图像级监督和自训练
我们提出了一种名为 MoDATTS 的新的半监督训练策略，用于处理自动医学图像分割中存在的模态遗传性问题，并通过图像转换和视觉转换器实现更准确的肿瘤分割。该模型在 CrossMoDA 2022 挑战中表现出优越的性能，并在 BraTS 20
PDF9 months ago
多数据模态的人工智能通用计算：综述
AI 生成内容（AIGC）方法旨在使用 AI 算法产生文本、图像、视频、3D 资产和其他媒体。本文综述了跨不同数据模态的 AIGC 方法，包括单模态和多模态，重点介绍了各种挑战、代表性研究以及最近的技术方向，并在各种模态中提供了对多个基准数
PDF10 months ago
ICCV2D3D-MATR: 图像与点云之间基于 2D-3D 匹配变换器的无检测配准
采用 2D3D-MATR 方法，我们提出了一种无需检测的方法，用于图像和点云之间的准确且鲁棒的配准。该方法在粗匹配的基础上，通过学习全局上下文约束和跨模态相关性，通过 transformer 实现多尺度金字塔和图像块焦点学习，解决了尺度不确
PDFa year ago
ICCV融合深度变换网络与加权向量关键点投票的鲁棒性 6D 物体姿态估计
通过提出的全新深度融合转换块 (DFTr)，结合了全局增强特征提取和语义相似性建模的算法进行一张 RGBD 图像的 6D 物体姿态估计。此外，还引入了一种新颖的加权矢量投票算法，实现了非迭代的全局优化策略，以精确定位三维关键点，并实现接近实
PDFa year ago
跨模态视觉转换器的交互式图像分割
本研究提出一种交互式图像分割网络，利用跨模态视觉 transformers 来更好地指导学习过程，并且在多个基准测试中实现了优越的性能表现，具有实用的注释工具潜力。
PDFa year ago
基于邻居引导标签优化的协同学习无监督可见 - 红外人员再识别
本文介绍了一种多模态学习方法，称为 Dual Optimal Transport Label Assignment（DOTLA）框架，用于学习无标签跨模态数据集中的多模态特征。同时，本文还介绍了一种基于跨模态邻域一致性的标签完善和正规化模块
PDFa year ago
DualCross: 单目 BEV 感知的跨模态跨域适应
本文提出了一个名为 DualCross 的跨模态跨领域自适应框架，以便从 LiDAR 数据中转移点云知识，使得单目鸟瞰感知模型更具鲁棒性，进而在不同的领域和传感器输入情况下进行测试，从而解决单一主题的一些瓶颈问题，取得了与各种基线的最新成果
PDFa year ago
SI-LSTM: 会话中情感识别的说话人混合长短期记忆和跨模态注意力
本研究提出了一种名为 “讲话者信息增强的长短时记忆（SI-LSTM）” 的递归结构，用于情感识别，可以在追踪对话中不同讲话者的情感状态的同时，通过交叉模态注意力机制将不同模态之间的信息结合起来，提高多模态数据情感识别任务的学习效果。在两个基
PDFa year ago
跨模态图像生成与配准的非监督不对准红外与可见光图像融合
本文提出了一种基于生成和配准的深度学习方法，用于无监督热红外图像和可见光图像的融合，通过生成伪红外图像并使用多级配准网络实现图像配准，在特征交互融合模块中，对所选择的特征进行融合，以提高融合质量和鲁棒性。
PDF2 years ago
LILE: 使用 Transformer 的双重注意力网络进行组织病理学资料检索前深入查看
提出了一种使用自注意力作为额外损失项的新架构，以在联合潜在空间中表示图像和文本；在 MS-COCO 和 ARCH 两个基准数据集上进行的实验结果表明，该方法具有很好的效果。
PDF2 years ago
MM通过多模态表示循环实现字体的创作与操作
本研究提出一种基于图形对象生成字体图形的方法，通过跨模态的循环图像生成模型结构实现，其中包含图形构造器。该方法可以更好地捕捉字体风格的内部图形属性，并提供直观的用户界面进行本地编辑和操作。
PDF3 years ago
ECCV基于图编辑距离的奖励：学习编辑场景图
该研究提出了一种新方法，使用基于策略梯度和图匹配算法的场景图编辑距离奖励，以优化神经符号模型，将文本编辑应用于 CSS 和 CRIR 数据集。
PDF4 years ago
可见光热像人物再识别中的参数共享探索和基于异质中心的三元组损失
本文提出了针对 VT Re-ID 任务的一种基于两流网络的可见 - 热交叉模态人员重新识别方法，探索了参数共享对该任务的影响，并通过提出异中心三元组损失函数进一步提升了识别效果。实验证明，该方法在两个数据集上的表现显著优于已有方法，成为 V
PDF4 years ago
ACL语言与视觉推理的跨模态相关性
本研究探讨了学习和推理语言和视觉数据的挑战，并设计了一种新型跨模态相关模块，可用于学习各种输入模态的组件之间的相关表示，它比仅仅重新调整原始表示空间更具泛化性。我们的方法不仅模拟了文本实体和视觉实体之间的关联，还模拟了文本中实体关系和图像中
PDF4 years ago