该论文介绍了一种新的视频场景感知对话系统，该系统将多个研究领域的最新技术整合应用 ，包括端到端的对话技术、视觉问答技术，以及视频描述技术。通过收集一个有关人类行为视频的对话数据集，作者们使用该数据集训练出一种多模态对话模型，它可以在对视频进行讨论时生成响应。最终实验结果表明，使用为多模态注意力视频描述开发的多模态特征可以提高对于动态场景（视频）生成对话的质量。

Jun, 2018

通过研究人工和机器人合作探索远程地点时的多模态交流，我们发现不同的模态使用策略可能与多个探索子任务的成功相关，并且请求照片的策略可能改进了某些关键实体的识别和计数，未妨碍整体区域的探索。

Oct, 2023

本文研究了基于视频对话生成，提出一种方法，可以将视频数据集成到预训练语言模型中，通过多模态推理实现各种模态之间的互补信息，实验结果表明，该模型能够在自动和人工评估方面显著优于现有的最先进模型。

Oct, 2022

本文讨论了人类在指定任务中使用应用程序所面临的挑战，提出了任务引导系统的发展需要寻找信息检索和会话系统来帮助任务的执行者，并针对现有数据集开发了一个基于 Wizard-of-Oz 的数据收集工具，进行了初步实验。

Nov, 2022

本研究提出一个分析候选人面试情景中行为提示的多模态分析框架，并使用视频、音频和文本转录数据进行面部表情、语音和韵律信息全面分析，该分析用于训练机器学习分类器以预测类别标签，并为应聘者提供有益的反馈意见。实验表明该方法达到了良好的效果。

Jun, 2020

本研究旨在通过引入图像模态转化多维人物角色的性格特点和经验，探究多模态人物角色在对话中的应用和作用，并通过多个任务的实验证明，多模态人物角色的引入可以显著提升多模态对话的性能表现。

May, 2023

本研究通过学习 MMD 数据集并实现基于知识库的多模态对话模型解决了多模态基于搜索的对话系统中的新挑战，该模型将编码的知识库表示附加到解码器输入中，从而在文本相似性测量方面获得了高于强基线的表现，其中三个 BLEU 点仅由于使用了来自知识库的附加信息。

Oct, 2018

通过多模态、多任务的医学领域识别和临床对话摘要生成 (MM-CliConSummation) 框架，本文提出了一种知识注入的、多模态的、多任务的临床对话摘要生成任务，旨在通过适配器融合知识和视觉特征，并使用门机制统一融合特征向量，将医生 - 患者交互 (包括文本和视觉信息) 生成简明扼要的摘要。在大量的定量和定性实验中，得出了以下结果：(a) 视觉信息的重要性；(b) 更精确且保留医学实体的摘要；(c) 医学部门识别与临床摘要生成之间的相关性。

Sep, 2023

该论文旨在将来自不同模态的视频信息压缩为单一、紧凑的表示形式，以用于自由格式文本查询的视频检索任务。通过运用预训练的语义嵌入、自动语音识别和光学字符识别等方法，采用协作专家模型来聚合信息，具有良好的检索性能。

Jul, 2019

通过机器学习和多模态学习分析来支持科学家研究分析儿童在混合现实环境下的具身学习，简化研究者的任务，深入了解学生在模拟场景中通过动作、注视和情感反应等方式与科学互动的学习过程。

May, 2024