Search | BriefGPT - AI 论文速递

搜索结果 - 200

Multimodal C4: 亿级图文混合语料库
Multimodal C4 is a publicly available dataset that supports in-context vision and language models, including linear assi
PDF8 months ago
TTMFN: 基于双流变压器的多模态融合网络用于生存预测
我们提出了一种名为 Two-stream Transformer-based Multimodal Fusion Network for survival prediction (TTMFN) 的新型框架，综合了病理图像和基因表达数据，通过
PDF19 days ago
EMNLP多任务多模态提示训练用于交互式具象任务完成
我们提出了一种统一的编码 - 解码模型，称为 Embodied MultiModal Agent (EMMA)，可以处理交互和具身任务，其中每个任务对目标完成做出贡献，取得了与类似模型相当的性能并在 Dialog-guided Task C
PDF25 days ago
Video2Music: 使用情感多模态 Transformer 模型从视频中生成合适的音乐
在本研究中，我们开发了一个名为 Video2Music 的生成音乐 AI 框架，能够根据提供的视频生成配套的音乐。我们的方法通过分析音乐视频获取语义、场景、运动和情感特征，并利用这些特征来指导音乐生成模型。我们还创建了一个称为 MuVi-S
PDFa month ago
GraFT: 渐进融合变换器用于多模态再识别
Gradual Fusion Transformer (GraFT) is proposed for multimodal Object Re-Identification (ReID), employing learnable fusio
PDFa month ago
EXMODD: 一个解释性多模态开放领域对话数据集
通过 Multimodal Data Construction Framework (MDCF) 自动生成 Explanatory Multimodal Open-Domain dialogue dataset (EXMODD)，同时提高数
PDFa month ago
EMNLPMultimodal Argument Mining 中首个共享任务：ImageArg-2023 综述
本研究论文概述了 ImageArg 共享任务，这是第一个与 EMNLP 2023 第 10 届 Argument Mining 研讨会共同举办的多模态论证挖掘共享任务。共享任务包括两个分类子任务 -（1）子任务 A：论证立场分类；（2）子任
PDF2 months ago
轻量级上下文调整的多模态统一模型
通过引入 MultiModal In-conteXt Tuning (M$^2$IXT) 模块，扩展感知范围来提升多模式语境学习的能力，并通过混合任务策略训练，实现在多个任务和数据集上的快速少样本适应，在模型参数方面显著减小，为多模式语境学
PDF2 months ago
UReader：基于多模态大型语言模型的通用无 OCR 视觉智能语言理解
通过利用 Multimodal Large Language Model (MLLM) 的浅层文本识别能力，我们在较低的训练成本下，通过在广泛的视觉语境理解任务上联合微调，设计了 UReader 模型，实现了 OCR-free 模式下在 8
PDF2 months ago
基于专家范围和多模态虚拟点的全稀疏长距离三维物体检测
我们的研究论文提出了一种利用 LiDAR 和图像相结合的方法来解决长距离 3D 物体检测的问题，通过组合两种不同范围的专家网络和引入 Multimodal Virtual Points（MVP）进行数据增强，我们的方法在长距离上达到了最先进
PDF2 months ago
Kosmos-G: 使用多模态大型语言模型生成上下文中的图像
Kosmos-G 是一个模型，利用 Multimodal Large Language Models（MLLMs）的视觉感知能力来生成来自泛化视觉 - 语言输入的图像，尤其是涉及多张图像的情况。
PDF2 months ago
多模态情感调节和情感一致性对于具身对话代理的重要性
提出了 ACTOR（Affect-Consistent mulTimodal behaviOR generation）框架，旨在通过生成多模态行为来增加对情感的知觉；在用户研究中证明了多模态行为在一致和不一致情感条件下的知觉，结果表明一致情
PDF2 months ago
基于交换的多模态融合和转换器
本研究探讨多模态融合的问题，提出一种基于 Transformer 的新型文本 - 图像融合模型 MuSE，并通过 CrossTransformer 在多模态之间交换知识。在 Multimodal Named Entity Recogniti
PDF3 months ago
MAiVAR-T：多模音频图片和视频动作识别器使用变形器
提出了一种新模型 MAiVAR-T（Multimodal Audio-Image to Video Action Recognition Transformer），旨在融合音频和图像模态以提高多模态人体动作识别（MHAR）的效果，并在基准动
PDF4 months ago
Multimodal SAR 到 EO 图像转换的 MultiEarth 2023 挑战中的第一名解决方案
本文介绍了一个旨在通过利用广泛时间内收集的遥感数据，对地球生态健康进行监测和分析的跨模态学习多个任务的工作坊，并提出了清洁收集器算法，以清除可能妨碍数据学习过程的因素，并对图像进行增强，最终在 SAR-to-EO 任务中实现了较好的表现。
PDF5 months ago
多模态机器学习中的模态影响
本研究旨在探讨每种模态对 Multimodal Machine Learning 模型的影响，并针对不同分类任务的数据集和模型，提出了一种确定每种模态对 Multimodal Machine Learning 模型的影响的方法。研究结果对于
PDF6 months ago
虚拟健康中的患者退出预测：多模态动态知识图和文本挖掘方法
该论文提出了一种 Multimodal Dynamic Knowledge-driven Dropout Prediction (MDKDP) 框架，通过学习医生 - 患者对话和各利益相关者在在线和离线医疗服务中的动态网络中的隐式和显式知识
PDF6 months ago
多模态学习的校准
该文介绍了多模态机器学习在可靠性方面的问题，通过对当前分类方法进行实证研究发现算法的可靠预测能力存在问题，因此提出了一个新的正则化技术：Calibrating Multimodal Learning 来解决问题并提高性能.
PDF6 months ago
TreeMAN: 增强树型多模态注意力网络用于 ICD 编码
本研究提出了一种基于 Tree-enhanced Multimodal Attention Network (TreeMAN) 的方法，将 EHR 中的结构化医疗数据和文本特征融合成多模态表示。通过决策树学习，TreeMAN 能够更好地捕捉
PDF6 months ago
持续多模态知识图谱构建
本研究的重点是通过开发终身多模式基准数据集，研究探索多模式知识图构建的持续挑战，提出了一种基于 Lifelong MultiModal Consistent Transformer 框架（LMC）的方法，并通过实验证明，与现有技术相比，在动
PDF7 months ago