multi-modal understanding | BriefGPT

关键词multi-modal understanding

搜索结果 - 10

MMCTAgent：复杂视觉推理的多模态批判性思维代理框架
这篇论文介绍了 MMCTAgent，这是一个新颖的多模态批判性思维代理框架，旨在解决当前 MLLM 在复杂视觉推理任务中的固有限制。通过从人类认知过程和批判性思维中获得灵感，MMCTAgent 迭代地分析多模态信息，分解查询，计划策略，并动
PDFa month ago
TEAL: 多模态大型语言模型的令牌化和嵌入全部
使用 TEAL 方法，将来自任何模态的输入处理为一个记号序列，学习所有模态的联合嵌入空间，并通过联合嵌入空间使得多模态的大型语言模型能够在涉及非文本模态的理解和生成任务中执行，如图像和音频。
PDF8 months ago
音像实例分割
提出了一项名为音频 - 视觉实例分割（AVIS）的新的多模态任务，目标是在可听的视频中同时识别、分割和跟踪单个声音对象实例；构建了第一个 AVIS 标准数据集（AVISeg），以便更好地促进这项研究；提出了一个基于声音分支和跨模态融合模块的
PDF8 months ago
使用 Polite Flamingo 进行视觉指导调整
本文主要介绍了 Polite Flamingo, 一种用于语境下回复重新构建的多模式响应重写器，并将其应用于大量的视觉语言数据集中，进一步利用新方法调整多段式调优和多轮增强，生成 PF-1M 数据集，并使用该数据集对多模式 LLM 进行细化
PDFa year ago
EmbodiedGPT: 基于身体思维链的视觉 - 语言预训练
介绍了 EmbodiedGPT，一种多模式基础模型，用于具有多模式理解和执行能力的具体智能体，可在物理环境中计划和执行动作序列，从而显着提高了具体控制任务的成功率。
PDFa year ago
使用视语言预训练模型提高医学语音转文本的准确性
提出一种基于 Vision Language Pre-training 方法的医疗方面的文本校正方法，以解决由于数据不足而难以开发医学领域的语音转文本模型的问题，并展示多模态理解图像和文本信息优于仅使用文本信息的单模态的性能。
PDFa year ago
OmniVL: 图像 - 语言和视频 - 语言任务的基础模型
OmniVL 提出了一种新的基础模型，它通过使用一种通用架构来支持图像语言和视频语言任务，采用了一种统一的基于 Transformer 的视觉编码器，以此来实现联合图像语言和视频语言的预训练，并展示了这种范式的好处，并且这种模型能够同时支持
PDF2 years ago
CVPRSAMPLE-HD: 同时动作和运动规划学习环境
本文提供了一个新的环境，用于学习交互式推理的视觉和行为方面的模拟，以掌握家庭用品的操作技能，并利用 SAMPLE-HD 环境生成场景、语言指令和训练路径。
PDF2 years ago
MM用正确的图像区域回答问题：一种视觉关注正则化方法
本文提出一种名为 AttReg 的视觉关注正则化方法，用于更好地在 VQA 中进行视觉基础。AttReg 首先确定对于问题回答而言关键的图像区域，然后利用基于掩蔽的学习方案来规范化视觉关注，使其更专注于这些被忽略的关键区域。在三个基准数据集
PDF3 years ago
ACLUNIMO：通过跨模态对比学习实现统一模态理解和生成
本文介绍了一种名为 UNIMO 的统一单模态预训练架构，它可以有效地适应单模态和多模态理解和生成任务，利用大规模自由文本语料库和图像集合来提高视觉和文本理解的能力，并使用跨模态对比学习来将文本和视觉信息对齐到图像 - 文本对的统一语义空间。
PDF4 years ago