multi-modal dialogue | BriefGPT

关键词multi-modal dialogue

搜索结果 - 7

Ziya-VL: 多任务指导微调的双语大型视觉语言模型
通过引入视觉语义，将大规模的视觉 - 语言模型 (LVLMs) 融合到多模态对话中，Ziya-VL 在英语和汉语多模态场景中展现出了具有竞争力的图片 - 文本生成和理解能力。
PDF9 months ago
ACLMPCHAT: 面向多模态角色驱动的对话
本研究旨在通过引入图像模态转化多维人物角色的性格特点和经验，探究多模态人物角色在对话中的应用和作用，并通过多个任务的实验证明，多模态人物角色的引入可以显著提升多模态对话的性能表现。
PDFa year ago
ACLPaCE: 统一的多模式对话预训练，采用渐进式和组合专家
提出了一种有结构、组成、统一的多模态对话预训练框架 PaCE，旨在通过少量的对话和大量的非对话多模态数据，应对多模态对话多样的任务和新的挑战，采用渐进式训练方法，实现旧专家辅助新专家，拓展其能力，取得了八项多模态对话基准测试的最新成果。
PDFa year ago
InternChat: 通过与聊天机器人互动解决以视觉为中心的任务 —— 超越语言
我们提出了一个交互式的可视化框架 InternChat，它整合了具有规划和推理能力的聊天机器人（如 ChatGPT）和指向动作等非语言指令，以使用户可以直接在屏幕上操作图像或视频。该框架通过结合指向动作和聊天机器人显著提高了用户和聊天机器人
PDFa year ago
DialogCC：大规模多模态对话数据集
本文介绍了一种基于 CLIP 相似度的多模态对话数据集创建管道，使用这个管道，我们提出了一个大规模的多模态对话数据集 DialogCC，并且通过广泛的实验结果表明，使用我们的数据集训练多模态对话模型可以改善泛化性能，与此同时，使用我们的数据
PDF2 years ago
多模式对话理解与生成的场景感知提示
本文介绍了 LingJing 团队在 NLPCC-2022-Shared-Task-4 多模态对话理解和生成中实验的方案，通过提出情景感知提示和多任务策略来联合建模情景和对话生成的多模态理解，在场景了解和对话生成方面实现了最先进的性能。
PDF2 years ago
多模态开放领域对话
本文旨在研究结合先进的开放域对话代理和视觉模型，以实现多模态对话的目标，研究不同的图像融合方案和域自适应预训练和微调策略，并展示了我们最好的模型不仅在多模态对话方面优于现有的强模型，而且在纯文本对话方面表现也和其前身 BlenderBot
PDF4 years ago