multi-modal integration | BriefGPT

关键词multi-modal integration

搜索结果 - 7

ICML揭示多模态网络中的大脑视觉语言融合
使用多模态深度神经网络（DNN）预测了人脑多模态整合的位置，通过预测人类在观看电影时的立体脑电图（SEEG）记录，我们将多模态整合的位置定义为多模态视觉语言模型优于单模态语言、单模态视觉或线性整合的区域。通过对不同架构和多模态训练技术的目标
PDF12 days ago
利用生物分子与自然语言进行多模式学习的调研
通过综合分析最近在生物分子和自然语言的交叉建模研究领域取得的最新进展，我们阐述了生物分子技术表示的技术、多模态语言和分子数据源集成的关键目标和原理、实际应用、可用资源和数据集的总结、以及未来研究方向等。
PDF4 months ago
结合视觉和触觉感知进行视频预测
本论文探究将触觉感应应用于物理机器人相互作用的视频预测模型，结果表明增加触觉反馈有助于提高场景预测准确性和增强机器人在物理相互作用过程中的感知和理解能力。
PDFa year ago
自闭症预测和生物标志物发现的多模态多核图学习
通过提出 MMKGL（Multi-modal Multi-Kernel Graph Learning）来解决多模态图学习的问题，利用该方法提取多模态图中的异质信息，基于 Autism Brain Imaging Data Exchange
PDFa year ago
EMNLP基于视觉常识的人类中心 grounding 中的人物查找
该研究介绍了一个新的人类常识任务，人类中心共识基础，并创建了一个数据集 HumanCog，并开发了一种强有力的基线方法，强调了丰富的视觉常识和多模式集成的重要性，并提出了未来的工作方向。
PDF2 years ago
多模式深度生成模型的变分混合专家自编码器
本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。
PDF5 years ago
CVPR在视频中的句子引导下的活动识别
该研究通过引入由语法指导的多模事件识别框架，进一步探讨了事件的构成结构与语言的构成结构如何相互影响，以及这种影响如何影响视觉行为识别，包括指导注意力、产生句子描述和查询视频等三个方面。
PDF11 years ago