multi-modal language models | BriefGPT

关键词multi-modal language models

搜索结果 - 9

图像能否代表千言万语？深入探究视觉语言模型的空间推理
大型语言模型和视觉 - 语言模型在广泛的任务和领域表现出了显著的优异性能，但空间理解和推理（人类认知的基本组成部分）仍然未得到充分利用。通过开发多方面的空间推理基准，如关系理解、导航和计数，我们对具有竞争力的语言模型和视觉 - 语言模型进行
PDF13 days ago
我们真的需要一个复杂的代理系统吗？将具体化的代理蒸馏成单一模型
STEVE-2 使用层次化知识蒸馏框架，将大型语言模型和多模态语言模型集成到开放式任务中的具身代理中，实现了复杂的任务执行以及对可执行动作的生成。STEVE-2 在导航和创作任务上的广泛评估表明，在开放式任务中，其表现优于其他方法，性能提升
PDF3 months ago
自动驾驶问答的多帧、轻量级和高效视觉语言模型
EM-VLM4AD 是一种轻量级、高效的多帧视觉语言模型，用于自动驾驶中的视觉问答任务，相较于先前方法，它在内存和浮点运算资源的使用上减少了至少 10 倍，并在 DriveLM 数据集上获得了更高的 BLEU-4、METEOR、CIDEr
PDF3 months ago
VisLingInstruct: 用自主指令优化提升多模式语言模型中的零样本学习
VisLingInstruct 通过自主评估和优化教学文本的过程，改善了多模态语言模型中视觉感知和语言表达的协同作用，这在零样本学习中显著提高了多模态任务的性能。
PDF5 months ago
MMICT：使用上下文示例提升多模态微调
多模态上下文调优通过多模态枢纽的引入，利用了多模态语言模型的潜力，从而提升了多模态上下文调优方法的性能。在各种多模态任务的广泛实验中，该方法明显优于传统的调优策略和直接将来自不同模态的所有信息连接在一起的方法。
PDF7 months ago
Causal-CoG: 基于因果效应的上下文生成对多模态语言模型的提升
我们提出了一种从上下文信息的角度解决多模态语言模型在视觉问答任务中难以提供准确和精确回答的挑战的方法：因果上下文生成策略（Causal-CoG）。我们通过提示多模态语言模型生成上下文，即图像的文本描述，并利用生成的上下文进行问题回答，同时从
PDF7 months ago
ArchBERT: 神经架构和自然语言的双模理解
提出了一种用于联合学习和理解神经架构和自然语言的双模态模型 ArchBERT，引入了被称为 MAM 的预训练策略，提供了两个新的双模态数据集进行方法的训练和验证，通过一系列下游任务的实验验证了 ArchBERT 的性能。
PDF8 months ago
DeepSpeed-VisualChat：多轮多图像交互聊天通过多模态因果关注
为了解决现有多模态模型在多图像、多轮对话中处理交叉图像和文本输入的能力不足的问题，我们提出了 DeepSpeed-VisualChat 框架，以优化大型语言模型的性能，并提升大型视觉和语言模型处理交叉输入的能力。相比现有框架，DeepSpe
PDF9 months ago
从复杂文档中提取结构化信息的基准测试
本文提出一个名为 VRDU 的用于评价文档中网络结构、多样的数据类型以及丰富的模板和布局等不同因素综合作用的数据集，并在此基础上设计实验模型，评估文档中结构化数据提取的性能。作者发现，此类任务中面对新模板挑战较大，而针对该问题，本文也提出了
PDF2 years ago