multi-modality | BriefGPT - AI 论文速递

关键词multi-modality

搜索结果 - 46

面向经直肠超声诊断中临床重要前列腺癌分类的多模态融合与基于原型的特征细化
提出了一个新颖的学习框架，利用多模态经直肠超声引导前列腺癌临床显著性分类，使用两个独立的 3D ResNet-50 从 B 模式和切变波弹性成像 (SWE) 中提取独特特征，同时加入注意模块以精确优化 B 模式特征并聚合两种模态提取的特征。
PDFa month ago
ICMLMultiMax：稀疏和多模态的注意力学习
通过提出 MultiMax 这种分段可微凸函数，根据输入条目范围自适应调节输出分布，我们解决了 SoftMax 及其变体在多模态和稀疏性之间的权衡问题，成功产生了抑制无关条目而保留多模态的分布，对图像分类、语言建模和机器翻译产生了有益的影响
PDF2 months ago
MotionLLM：从人体动作和视频中理解人类行为
该研究通过利用大型语言模型（LLMs）的强大功能，深入探讨多模态（即视频和运动模态）人类行为理解。与最近为仅视频或仅动作理解设计的 LLMs 不同，我们认为理解人类行为需要从视频和运动序列（例如 SMPL 序列）中进行联合建模，以有效捕捉微
PDF2 months ago
使用软分解的顺序蒙特卡洛算法收敛界限
证明了在顺序蒙特卡洛（SMC）算法生成的样本的经验测度下，函数 f 的方差的界限，其时间复杂度取决于局部而非全局马尔可夫链混合动力学。SMC 是一种马尔可夫链蒙特卡洛（MCMC）方法，从已知分布中抽取 N 个粒子，然后通过一系列分布重新加权
PDF2 months ago
MaskFuser: 联合多模态符号化的遮罩融合用于端到端自动驾驶
提出了一种名为 MaskFuser 的多模态驾驶框架，在统一的语义特征空间中将各种模态标记化，并为进一步行为克隆提供联合表示。通过引入跨模态的掩蔽自编码器训练，增强了融合表示。MaskFuser 在伤害感知输入下提高了驾驶稳定性，并在驾驶得
PDF2 months ago
MMCBE：用于作物生物量估计和更多领域的多模态数据集
通过多视角无人机影像和 LiDAR 点云相结合的数据集，本研究提出了第一个多模态农作物生物量估计数据集，并通过评估现有方法的性能和探索新的潜在应用，如无人机图像下的 3D 农作物重建和新视角渲染，为农作物生物量量化的基准方法和视觉方法的发展
PDF3 months ago
文本知识的重要性：跨模态共教带来的一般化视觉类别发现
通过使用强大的视觉 - 语言模型，本文提出了一个两阶段的 TextGCD 框架，通过检索式文本生成和跨模态共同教学来实现多模态的广义类别发现，并设计了自适应类别对齐策略以及软投票机制以整合多模态线索。实验证明我们的方法在八个数据集上具有较大
PDF5 months ago
社会物理启发的人群模拟扩散模型
本文提出了一种称为 SPDiff 的社交社交物理驱动扩散模型，以解决物理驱动机器学习方法在群体模拟中无法全面建模人类移动的异质性和多模态问题。通过反向扩散过程，SPDiff 利用当前时间段中的交互和历史群体信息生成下一个时间段中行人移动的分
PDF6 months ago
多模态亲和推断弱监督 3D 语义分割
本文提出了一种简单而有效的基于场景级弱监督的点云分割方法，引入了多模态点亲和度推理模块，利用从多个模态（如点云和 RGB）得到的特征来特征化提出的点亲和度，并通过归一化分类器权重来减轻长尾分布的不利影响，无需事先知道类别分布的先验信息。通过
PDF7 months ago
评估 GPT4-V 在结构化推理任务上的表现
最近，GPT-4 语言模型与视觉能力相结合，我们对 GPT-4V 和其他五个基准模型进行了提示评估，包括数学推理、视觉数据分析和代码生成等结构化推理任务。我们发现视觉的 Chain-of-Thought，在多模态 LLMs 上的扩展，在基准
PDF7 months ago
自适应多模态提示学习
提出了一种自适应多模式提示学习方法，通过同时考虑样本内外的泛化性和掩盖无意义的图像区域来解决当前提示学习方法存在的局限性，实验结果表明该方法在不同下游任务中优于现有方法。
PDF8 months ago
FedFusion：多星多模态深度融合驱动的联邦学习
FedFusion 是一种基于流形的多模态融合框架，通过联合估计每个客户端的浅层特征的显著流形结构，并通过级联和加法方法将特征矩阵压缩为低秩子空间，作为后续分类器的特征输入，从而解决多卫星、多模态数据的联合融合问题。该框架在三个多模态数据集
PDF8 months ago
通往通用异常检测和理解的道路：大规模视觉语言模型（GPT-4V）领先
使用 GPT-4V 模型进行多模态异态检测任务，包括图像、视频、点云和时间序列数据，在工业、医学、逻辑、视频和 3D 异态检测以及定位任务等多个应用领域中，通过引入类别信息、人类专业知识和参考图像等提示来提高模型性能。在实验中，GPT-4V
PDF9 months ago
细粒度动作分析：一个多模态和多任务的花样滑冰数据集
提出了一个多模态和多任务的花样滑冰数据集（MMFS），其中包含了动作识别和动作质量评估，收集了来自世界花样滑冰锦标赛的 11671 个视频片段，包含 256 个类别，包括空间和时间标签。
PDFa year ago
Ben-ge: 使用地理和环境数据扩展 BigEarthNet
该研究提出了一个多模式地球观测数据集 ben-ge，并展示了将不同数据模式结合起来应用于土地利用 / 覆盖分类和分割任务的价值，ben-ge 可以作为全监督和自监督地球观测应用的测试基地。
PDFa year ago
针对部分多模态人员再识别的动态增强网络
通过设计动态增强网络（DENet），可以在缺失任意模态的情况下，仍然保持多种方式的表示能力，用于部分多模态人员重新识别，并在 RGBNT201 数据集上进行广泛实验。
PDFa year ago
非自回归文档级机器翻译（NA-DMT）：探索有效方法、挑战和机遇
本文从文档级机器翻译的角度全面探讨了典型的非自回归翻译模型，实验证明尽管非自回归模型可以显著加速文档的文本生成，但是它们在文档水平上的表现并不如在句子级上的表现，作者提出了一个新的设计来弥补这种性能差距，重视句子级别的对齐和多模态问题，在此
PDFa year ago
MaGIC: 多模态导向图像修复
本文提出了一种名为 MaGIC 的多模态引导图像补全方法，该方法不仅支持单模态引导，还能适应任意多种模态的引导，使用模态特定的 MCU-Net 注入单一信号，再通过一致性模态混合 (CMB) 方法传播梯度，实现了在没有大量参考信息的情况下的
PDFa year ago
DeepMSS: PET/CT 图像的深度多模态分割至生存预测学习
本文提出了一种新型深度多模态分割 - 预测幸存模型，該模型采用分割 - 预测学习策略和数据驱动的方法，能够从 PET/CT 图像中进行肿瘤分割和幸存预测，并能将传统放射学特征作为一种增强，能够更好地适应最佳训练模型来预测平台上不同的治疗的
PDFa year ago
MEDIAR: 多模式显微镜数据中心和模型中心的协调
用于多模态高分辨率显微镜图像的弱监督细胞分割是一个基本任务。本文提出了 MEDIAR，这是一个周全的细胞实例分割流程，将数据中心和模型中心方法相结合，实现了在多模态下的高效分割。
PDF2 years ago