multimodal dialogue | BriefGPT

关键词multimodal dialogue

搜索结果 - 7

混元 - DiT：一种具有细粒度中文理解能力的强大多分辨率扩散变压器
提出了混元 - DiT，一种具有对英文和汉语进行细粒度理解能力的文本到图像扩散变压器，并基于其精心设计的变压器结构、文本编码器和位置编码，构建了全新的数据流水线，以更新和评估迭代模型优化的数据。通过训练一个多模态大型语言模型来完善图像的标题
PDF2 months ago
对话界面中的多模态共情
本文介绍了一种基于大型语言模型和生成式人工智能的会话式健康代理，通过分析多模态线索，它可以解释和回应用户的情绪状态，从而提供具有情境意识和共鸣力的交流回应，从而巩固交互式、富有同情心的数字健康解决方案的前沿地位。
PDF2 months ago
EXMODD: 一个解释性多模态开放领域对话数据集
通过 Multimodal Data Construction Framework (MDCF) 自动生成 Explanatory Multimodal Open-Domain dialogue dataset (EXMODD)，同时提高数
PDF9 months ago
TouchStone: 通过语言模型评估视觉 - 语言模型
我们提出了一种评估方法，使用强大的大视觉语言模型作为评判者来全面评估大视觉语言模型的各种能力，通过构建综合的触石视觉对话数据集和整合详细的图像注释，我们能够在不需要人为干预的情况下，利用先进的大语言模型直接评估多模态对话的质量，从而为大视觉
PDF10 months ago
多模态生成：将语言模型与图像相结合
该研究提出了一种有效的方法，将预训练的纯文本语言模型转移到视觉领域，使其能够处理和生成任意交错的图像和文本数据，并在上下文图像检索和多模态对话等方面实现了强有力的效果。
PDFa year ago
多模态情境对话中的参照解析和上下文变化用于数据可视化探索
该论文探讨在多模态对话中，为了创建新的可视化效果，如何通过引用解析来实现用户对大屏幕可视化的引用。它描述了实体引用注释和引用解析管道，并研究了传统 CRF 和深度学习 / 转换器模型（BiLSTM-CRF 和 BERT-CRF）。结果表明，
PDF2 years ago
JDDC 2.0 语料库：面向电子商务客服的大规模多模态多轮中文对话数据集
为了解决多模态对话中图像与文本之间的差距，我们构建了一个包含图像、产品知识库和文本的大规模数据集 JDDC 2.0，并给出了基于此数据集的顶尖团队的解决方案，为进一步研究多模态对话任务提供了有价值的启示。
PDF3 years ago