multimodal ai | BriefGPT - AI 论文速递

关键词multimodal ai

搜索结果 - 8

EMNLPLLaSA：大型多模态智能体通过可穿戴传感器进行人类活动分析
将惯性测量单元（IMUs）与大型语言模型（LLMs）相结合，通过增强人体活动理解而推进多模态人工智能。我们介绍了 SensorCaps 数据集（包括 26,288 个 IMU 导出的活动叙述）和 OpenSQA 数据集（包括 257,562
PDF14 days ago
CVQA：跨文化多语言视觉问答基准
构建了 CVQA，一个新的多元文化多语言视觉问答基准，覆盖了 28 个国家的文化驱动图像和问题，包括 26 种语言和 11 种文字，共提供了 9k 个问题。针对 CVQA 对几种多模态大型语言模型进行了基准测试，显示出该数据集对当前最先进的
PDF24 days ago
增强视觉模型以实现对文本密集内容的理解和交互
增强视觉模型对包含大量文本信息的图像进行理解和学习的能力，通过数据预处理、微调和模型评估等方法，在集成 CLIP 和文本嵌入模型的视觉聊天应用中取得了 96.71% 的精度，旨在提升复杂视觉文本数据的跨模态人工智能理解能力。
PDFa month ago
面包或吉娃娃？用多面板视觉语言模型挑战性大的 VQA 任务
通过介绍 Multipanel Visual Question Answering (MultipanelVQA) 基准测试，本研究揭示了 Large Vision Language Models (LVLMs) 对于多子图像的理解存在的挑
PDF5 months ago
CVPR通用多模态 Transformer 满足遥感语义分割
在遥感语义分割领域中，本研究调查了 PerceiverIO 等普适性多模态网络在处理遥感图像中的物体尺度变化和车辆检测方面的表现，并提出一种空间和体积学习组件来解决这些问题。通过广泛的实验证明，该方法在与 UNetFormer 和 Swin
PDFa year ago
多模态 AI 中的数据保护：采用差分隐私方法进行 CLIP 训练
针对多模态 AI 在视觉 - 语言任务中引发的数据隐私问题，提出了基于差分隐私的 CLIP 模型 (Dp-CLIP)，通过梯度裁剪和不满足 DP-SGD 文献分析所假设的平滑条件的损失函数之间的权衡来平衡效用和隐私保护。
PDFa year ago
多模态和交叉模态人工智能智能数据分析
本文介绍了多模态与跨模态人工智能技术在智能数据分析中的作用和应用，并提出了一个新的多模态与跨模态人工智能框架 (MMCRAI) 以平衡两种技术，在跨领域应用中取得良好的效果。
PDF2 years ago
文本与图像的多模态表示学习
该论文利用多模式人工智能和矩阵分解技术进行表示学习，通过同时处理文本和图像数据，评估所得到的学习表示，并使用下游分类和回归任务对其进行评估。
PDF2 years ago