multimodal foundation models | BriefGPT

关键词multimodal foundation models

搜索结果 - 17

多模式基础模型理解企业工作流程吗？业务流程管理任务的基准测试
为了解决现有机器学习基准缺乏用于评估企业流程管理（BPM）任务的深度和多样性的问题，研究人员提出了 WONDERBREAD，这是评估多模态基础模型在超出自动化的 BPM 任务上的第一个基准。他们的研究发现，目前最先进的基础模型可以自动生成文
PDF15 days ago
生物医学视觉教学优化与临床医师偏好一致性调整
本文提出了一种数据中心的框架 BioMed-VITAL，将临床医生的偏好纳入到生成和选择生物医学多模式基础模型调整的指导数据的过程中，并通过这种方法获得的指导数据进行调整后的模型在开放式视觉对话和医疗问答中表现出显著改进。
PDF15 days ago
多模态结构生成：CVPR 第 2 届 MMFM 挑战技术报告
多模态结构化生成是一种将冻结的多模态基础模型的输出逻辑约束在结构化输出之前进行推理的通用框架，可用于解析和使用下游 API，该方法在 CVPR 会议主办的第二届多模态基础模型挑战中取得了第二高的得分，并第三高的整体得分，展示了该方法在未见任
PDF17 days ago
AnomalyDINO：使用 DINOv2 提升基于补丁的少样本异常检测
本文探讨了高质量的可视特征是否足以与现有的最先进的视觉语言模型竞争，并通过将 DINOv2 适应于一次性和少量次数的异常检测来证实这一点，重点放在工业应用上。我们表明这种方法不仅能与现有技术竞争，而且在许多情况下甚至能胜过它们。我们提出的仅
PDFa month ago
CrossCheckGPT: 多模态基础模型的通用幻觉排序
提出了一种用于多模态基础模型的无参考幻觉排名方法 CrossCheckGPT，通过跨系统一致性来评估幻觉的稳健性，并通过测量信息一致性的距离度量来确定模型输出之间的一致性。该方法在文本、图像和音频 - 视觉领域展示了对幻觉排名的适用性，并提
PDFa month ago
多模态基础模型中的多示例上下文学习
多模态基础模型在少样本上下文学习中具有较高的效果，通过扩展到多样本上下文学习，可以显著提高模型性能和数据效率。
PDF2 months ago
基于基础模型的企业自动化
自动化企业工作流程可以释放每年 4 万亿美元的生产力增益。通过案例研究医院和大型 B2B 企业，我们发现采用机器人流程自动化受到成本高昂（需 12-18 个月），执行不可靠（初始准确率为 60％）和繁琐的维护（需要多个全职员工）的限制。在这
PDF2 months ago
多感官人工智能的基础
通过综合一系列理论框架和应用领域，该论文旨在推进多传感器人工智能的机器学习基础。它首先提出了一个理论框架，形式化描述不同感知模态之间的相互作用，以获取任务的新信息。其次，研究了可广泛泛化于多个模态和任务的实用多模态基础模型的设计。最后，讨论
PDF2 months ago
SIGIRIISAN: 高效适应多模态表示的顺序推荐与解耦 PEFT
我们的研究引入了 IISAN（Intra- and Inter-modal Side Adapted Network for Multimodal Representation），它利用解耦的 Parameter-efficient Fin
PDF3 months ago
LLaVA-Gemma：利用紧凑的语言模型加速多模基础模型
我们使用近期发布的 Gemma 系列大型语言模型（LLMs）在流行的 LLaVA 框架中训练了一套多模态基础模型（MMFM）。我们测试了删除三个设计特征对模型性能的影响，并对性能进行了深入分析。最终的 LLaVA-Gemma 模型在多项评估
PDF3 months ago
多模态 CLIP 推理用于元 - 少样本图像分类
结合 CLIP 的文本和图像编码器的多模态方法，在广泛采用的基准测试上超越了最先进的元少样学习模型，而无需额外训练。
PDF3 months ago
多模态基础模型的零样本鲁棒性基准测试：一项试点研究
基于大规模的鲁棒性基准测试，本研究通过评估 CLIP 模型在自然分布偏移和对抗攻击下的性能，发现零样本多模态模型的鲁棒性明显不足，强调了对零样本多模态模型的鲁棒性进行改进的重要性。
PDF4 months ago
评估 GPT-4 对胸部 X 射线诊断印象生成的效果：基于性能和认知的读者研究
通过评估 GPT-4 对于胸部 X 射线的生成能力，本研究探讨了基于多模态基础模型的放射学印象生成的潜力，发现放射学评估与常见自动评估指标存在显著差异，并暴露了 AI 生成结果存在潜在偏见的问题。
PDF8 months ago
无限驾驶：具有多模态基础模型的通用端到端自动驾驶
通过使用多模态基础模型，我们提出了一种方法来增强自主驾驶系统的鲁棒性和适应性，实现了开放环境中的端到端多模态自主驾驶，并能从图像和文本的表示中提供驾驶决策。
PDF8 months ago
多模态基础模型：从专家到通用助手
本文综述了多模基础模型的分类和演变，重点关注从专业模型到通用助手的转变。研究领域包括两个核心主题：(i) 针对特定目的预训练的多模基础模型，包括学习视觉骨干进行视觉理解和文本到图像生成的方法；(ii) 旨在充当通用助手的多模基础模型的最新进
PDF10 months ago
ACL深度交互的跨模态提示学习
本文提出了一种基于 CLIP 的深度交互式跨模态提示学习（DCP）方法，可实现视觉和语言之间的灵活相互作用，通过良好连接的多头注意力模块逐步强且稳定地交换各自的表示，并在 11 个图像分类数据集上进行综合少样本学习实验和域自适应能力分析，实
PDFa year ago
多模态帮助单模态：利用多模态模型进行跨模态少样本学习
通过跨模态训练，结合视觉和语言信息，利用少量的训练样本和类名，建立了一个更好的狗狗分类器，并构建了第一个音视频少样本学习基准。
PDFa year ago