multimodal dataset | BriefGPT

关键词multimodal dataset

搜索结果 - 48

RU-AI：一个用于机器生成内容检测的大型多模态数据集
介绍了 RU-AI 数据集，该数据集是一个大规模的多模态数据集，旨在鲁棒且高效地检测文本、图像和语音中的机器生成内容；提出了一个统一模型，该模型融合了多模态嵌入模块和多层感知器网络，能够有效确定数据的来源（即原始数据样本还是机器生成的数据）
PDFa month ago
ACLEmpathicStories++: 一个面向个人经历的多模态数据集
该研究提出了一个多模态数据集，用于个人经历分享中的共情研究，其中包含 41 名参与者在与人工智能代理共享脆弱经历并阅读共情共鸣故事期间的 53 小时视频、音频和文本数据。该数据集是首个关于共情的纵向数据集，通过社交机器人在参与者家中一个月的
PDFa month ago
以意象为探索：探索一种用于对话推荐的多模态数据集
通过多模态数据集，我们介绍了一个用户通过图像表达偏好的研究。这个数据集包含了从风景到艺术表现的广泛的视觉表达，用户请求推荐具有类似感觉的书或音乐，并由社区通过点赞支持。我们的实验证明了大型基础模型在这些任务中的局限性。特别是，视觉 - 语言
PDFa month ago
ROCOv2: 放射学中的对象在上下文中的第二个版本，一个更新的多模态图像数据集
该研究介绍了 Radiology Object in COntext 版本 2（ROCOv2）的多模态数据集，包含放射性图片和医疗概念及标题，并提供用于训练图像标注模型的图像 - 标题对，以及用于多标签图像分类的 Unified Medic
PDF2 months ago
贴纸对多模态聊天情感分析和意图识别的影响：一个新的任务、数据集和基线模型
提出了一个新的任务：涉及贴纸的多模态聊天情感分析和意图识别 (MSAIRS)，并引入了一个包含来自多个主流社交媒体平台的中文聊天记录和贴纸的新颖多模态数据集。通过该数据集，我们能够更好地了解贴纸对聊天情感和意图的影响，并提出了一个有效的多模
PDF2 months ago
用于科学论文自动摘要的俄语多模态数据集
该论文讨论了创建一个俄语科学论文的多模态数据集，并测试了现有的语言模型在自动文本摘要任务上的表现。该数据集的特点是其多模态数据，包括文本、表格和图形。论文介绍了使用 SBER 的 Gigachat 和 Yandex 的 YandexGPT
PDF2 months ago
CLARE: 实时多模态数据中的认知负荷评估
我们提供了一个新颖的多模态 Cognitive Load Assessment 实时数据集 (CLARE)，其中包含来自 24 名参与者的生理和注视数据，并以自我报告的认知负荷评分作为基准标签。数据集包括四种模态，分别是心电图 (ECG)、
PDF2 months ago
ImplicitAVE：一个开源数据集和隐式属性值提取的多模态 LLMs 基准
通过 ImplicitAVE 数据集，本研究提供了第一个公开的多模态隐式属性值提取数据集，并探索了多模态大型语言模型在隐式属性值提取中的应用，为多模态大型语言模型在 ImplicitAVE 数据集上建立了综合基准。
PDF2 months ago
CVPRMMVP: 一个带有视觉和压力传感器的多模态运动捕捉数据集
我们提出了一个名为 MMVP 的多模态 MoCap 数据集，其中包括视觉和压力传感器，提供了与 RGBD 观察同步的准确和密集的足底压力信号，尤其适用于形状估计、姿态拟合和全局平移跟踪。
PDF3 months ago
REWIND 数据集：在野外多模态肢体运动信号中进行隐私保护的说话状态分割
从视频、身体加速度以及身体姿态跟踪三方面预测由音频提取的 20Hz 二进制说话状态信号，为说话状态检测方法的广泛评估提供了必需的信号和基准。
PDF4 months ago
提升家庭环境安全与福祉的综合多模态数据集
本研究提供了一个合成的多模态数据集，通过融合来自 3D 虚拟空间模拟器的视频数据与描绘活动时空上下文的知识图谱，该数据集旨在用于社会问题的知识图谱推理挑战（KGRC4SI），重点是识别和解决家庭环境中的危险情况，该数据集对于研究人员和从业者
PDF5 months ago
射电星系与红外主机检测的多模态数据集与基准
我们提供了一个新颖的多模态数据集，由专家天文学家开发，用于自动检测和定位多组件扩展射电星系及其对应的红外主机。该数据集包括 2,800 个射电和红外模态图像中的 4,155 个星系实例。每个实例都包含有关扩展射电星系类别、包围其所有组件的边
PDF7 months ago
ProBio: 一个分子生物学实验室的协议指导的多模态数据集
研究如何解决分子生物学中存在的重复性危机，首先构建了一个多模态数据集 ProBio，并提出了两个具有挑战性的基准测试以强调生物实验室中活动理解的特点和困难，最后对现有的视频理解模型进行了彻底的实验评估，并指出其在这一特定领域的局限性以开辟未
PDF8 months ago
3DCoMPaT++：一个用于复合识别的改进大规模三维视觉数据集
3DCoMPaT++ 是一个多模态 2D/3D 数据集，包含超过 1 亿个渲染视图的 1000 万多个精心注释的样式化 3D 形状，以及与之匹配的 RGB 点云、3D 纹理网格、深度图和分割掩码。该数据集涵盖了 41 种形状类别、275 种
PDF8 months ago
音乐和歌词驱动的舞蹈合成
介绍了一个新的多模态数据集 JustLMD，其中包括舞蹈动作、音乐和歌词的三元信息，并展示了一种基于跨模态扩散的网络，用于根据音乐和歌词生成 3D 舞蹈动作。
PDF9 months ago
直播产品识别的跨视图语义对齐
通过对多模态数据集进行实例级对比学习和交叉视图补丁级特征传播，提出了一个新的 RICE 模型，来解决在线销售产品的视觉识别问题，并通过与真实世界问题相似的 LPR4M 数据集进行了广泛实验验证。
PDFa year ago
InternVid：大规模视频文本数据集，用于多模式理解和生成
本文介绍了 InternVid，一个大规模的以视频为中心的多模态数据集，旨在学习强大且可转移的视频 - 文本编码，在多模态理解和生成方面进行研究。我们自动构建了这个高质量的视频 - 文本数据集，并使用大型语言模型，展示了其在学习大规模视频
PDFa year ago
利用多模态合成数据进行工业场景下自我中心人 - 物互动检测
本文针对工业环境下自我中心的人物 - 物体交互（EHOI）检测问题，提出了一种生成与注释合成图像数据的流程和工具，并发布了包含多种注释的 EgoISM-HOI 数据集。利用合成的 EHOI 数据，我们设计了一种新的方法，在 RGB 图像上预
PDFa year ago
ACLHaVQA: 用于豪萨语视觉问答和多模态研究的数据集
本文介绍 HaVQA 数据集，这是用于哈萨语视觉问答任务的第一个多模态数据集。数据集包含来自视觉基因组的 1,555 张图像以及经过手工翻译的 6,022 个英文问题答案对，提供了 12,044 个英文 - 豪萨语平行语句，可用于进行基线实
PDFa year ago
ACLBIG-C：面向本巴语的多模态通用数据集
BIG-C 是一个基于图像的 Bemba 语言的大型多模数据集，其中包含 92,000 多轮对话，180 小时的音频数据和对应的翻译，提供了语音识别、机器翻译和语音翻译等任务的基线，并且意在促进语言、语音和视觉社区之间的研究和合作。
PDFa year ago