multi-modal framework | BriefGPT

关键词multi-modal framework

搜索结果 - 17

PNAS-MOT: 多模态物体跟踪的帕累托神经结构搜索
多目标跟踪是自动驾驶中的关键任务。本文采用神经架构搜索（NAS）方法寻找低实时延迟、相对高准确度的高效跟踪架构。同时，提出多模态框架以提高鲁棒性，并通过实验证明算法可以在边缘设备上运行，从而大大降低多模态跟踪的计算需求和延迟。
PDF3 months ago
Path-GPTOmic: 一个平衡的多模态学习框架用于生存结局预测
通过多模态框架和生物学洞察来提高癌症生存预测准确性。
PDF4 months ago
MolTC: 语言模型中的分子关系建模
该研究提出了一个基于 LLMs 的多模态框架 MolTC，以图像化信息为基础，实现了统一的分子间相互作用预测，并进行了包括 400 万分子对的多数据集实验，证明了该方法在基于 GNN 和 LLM 的基准测试中的优越性。
PDF5 months ago
VoxelNextFusion：一个简单、统一且有效的多模态三维物体检测体素融合框架
VoxelNextFusion 是一种多模态的三维物体检测框架，通过有效地融合稀疏点云和密集图像之间的信息，解决了现有基于体素方法在稀疏和密集特征融合上的问题，从而在 KITTI 和 nuScenes 数据集上实现了 3D 物体检测的显著改
PDF6 months ago
CrysMMNet: 晶体属性预测的多模态表示
本研究提出了一种多模态框架，该框架将结构数据和文本描述结合起来进行分析，以更好地对材料进行建模并预测其性质。
PDFa year ago
Video-LLaMA: 一种面向视频理解的指令优化的音视频语言模型
Video-LLaMA 是一种多模态框架，通过将预训练的视觉和音频编码器与预训练的大型语言模型结合，实现对视频内容的理解，具有捕捉视觉场景中的时间变化和整合音频 - 视觉信号等优势，因此被视为具有潜力的音视频 AI 助手原型。
PDFa year ago
IJCAIFast-StrucTexT：一种具有模态引导动态令牌合并的高效沙漏变压器模型，用于文档理解
提出了 Fast-StrucTexT，这是一种基于 StrucTexT 算法的高效多模态框架，并使用沙漏变压器结构进行视觉文档理解，具有较高的性能和效率，可表示多粒度表示。SCA 与动态令牌合并块一起使用，以实现文档布局表示的平衡，以获得与
PDFa year ago
AAAI定位再生成：通过边界框桥接视觉和语言进行场景文本 VQA
提出了一个用于场景文本视觉问答的多模态框架，采用 “先定位再生成” 的范式，将空间边界框作为连接文本和视觉模态的桥梁，通过预先训练的语言模型增强绝对准确率。
PDFa year ago
文本引导的蛋白质设计框架
提出了一种多模态框架 ProteinDT，旨在改进蛋白设计。通过结合文本信息和蛋白表征，该框架在蛋白性质预测和生成方面取得了令人满意的结果，并构建了一个大型数据集 SwissProtCLAP 来训练模型。
PDFa year ago
ACL有害模因中的实体特征：谁是英雄、反派和受害者？
本研究设计了多模态框架 VECTOR，结合 HVVMemes 数据集，通过实验比较分析，其在识别恶意迷因中实体角色的表现优于其他模型，突显了语义角色标注具有的挑战性。
PDFa year ago
MM你会变得流行吗？学习预测舞蹈片段的病毒性
本研究使用多种视觉和场景信息，提出了一个新的多模态框架用于全面预测舞蹈挑战的传播趋势。使用金字塔骨骼图卷积网络（PSGCN）模拟身体动作，并引入关系时间卷积网络（RTCN）来利用非局部时间关系进行外观动态建模。提出了一种关注融合方法，最终从
PDF3 years ago
MM一幅画胜千言：用于生成多样化字幕和富有表现力图像的统一系统
该研究采用创意图像和文本生成 AI 系统，通过多模态框架实现了多样化的标题和图像创建，同时采用 Transformer 网络模型支持多种标题参考，采用非自回归解码策略实现实时推断。
PDF3 years ago
端到端多模式视频时间定位
本文提出了一种基于多模态框架的文本指导视频时间地基方法，采用 RGB 图像、光流和深度图来提取视频的补充信息并通过 transformers 设计动态融合方案进行交互学习，在 Charades-STA 和 ActivityNet Capti
PDF3 years ago
ACLLayoutLMv2: 多模态预训练用于视觉丰富的文档理解
LayoutLMv2 提出了一种新的预训练架构，通过在一个多模态框架中建模文本、布局和图像之间的交互以及整合空间感知自注意机制，在预训练阶段更好地捕获跨模态交互，实现在 FUNSD，CORD，SROIE，Kleister-NDA，RVL-C
PDF4 years ago
多模态多通道目标语音分离
通过利用目标说话者的空间位置、声音特征和唇部运动，本研究提出了一种通用的多模态框架来实现目标语音分离，并探讨了多模态联合建模的融合方法。通过实验验证，该方法在真实情况下的强鲁棒性表现显著优于单模和双模语音分离方法，同时可支持实时处理。
PDF4 years ago
AAAIUrban2Vec：结合街景图像和兴趣点的多模态城市社区嵌入
本文提出了一种无监督的 Urban2Vec 多模态框架，利用街景图像和兴趣点数据来学习社区嵌入，使得该模型在下游预测任务中取得了比基线模型更好的性能，并在三个美国大都市地区的广泛实验中展现了模型的可解释性、泛化能力和在社区相似性分析中的价值
PDF4 years ago
CogniVal：一种认知词嵌入评估框架
论文提出了第一个基于认知词汇语义的多模态框架，用于评估六种类型的英语词表示，通过瞳孔追踪、EEG 和 fMRI 等三种不同类型的记录数据，进行全面的测试和评估，并得出认知数据之间、记录模式之间和与 NLP 任务性能之间的强相关性。
PDF5 years ago