本研究介绍了一种以视频为中心的语音理解系统 VideoChat，它通过可学习的神经接口将视频基础模型和大型语言模型集成起来，在时空推理、事件定位和因果关系推断等方面表现出色。通过使用视频为中心的指令数据集，我们为这个系统提供了有指导性的调整建议，这个数据集由成千上万个视频和详细的描述和会话组成，突出了时空推理和因果关系，为训练以聊天为中心的视频理解系统提供了有价值的资源。初步的定性实验揭示了我们的系统在广泛的视频应用中的潜力，并为未来的研究设置了标准。

May, 2023

为了有效表达和满足网络应用的需求，我们提出了一种基于人工智能的框架，用于意图识别和翻译。该框架基于新兴通信实现意图识别，应用通过通信消息表达他们的抽象化用户体验意图，网络学习如何解释这些通信消息并映射到网络能力，从而保证所需的服务质量。模拟结果显示，该方法胜过自学习分片方法和其他基准方法，接近完美知识基准。

Feb, 2024

本研究通过对人与虚拟人物互动对话进行语言学、组织结构及结构分析，提出了为机器创建面对面多模态界面的必要性，并观察了多模态动作和事件的分布，数据表明需要在多模态融合层之外增加一个控制层来组织会话流、集成社会背景以及拟定进展计划，需要将会话分析、认知科学和心智理论等内容融入到界面系统中。

Nov, 2022

提出了一种基于四个相互依存的分析水平，在口语交互中支持鲁棒性连续对话的任务独立、多模态体系结构 Quartet。通过开发使用 Quartet 的两个口语对话系统 Prsenter 和 Bayesian Receptionist，介绍了处理控制级别内和之间的不确定性的表示、推理程序和决策策略。

Jan, 2013

研究了信息检索中用户意图识别的两个方面，提取基于内容，结构和情感特征的特征，利用经典机器学习方法执行用户意图预测，使用特征重要性分析确定了结构特征对预测的贡献最大，并构建了神经分类器以提高性能。

Jan, 2019

本文提出了一种基于交替任务导向的社交对话框架，该框架使用强化学习算法训练策略，以维持长时间的会话连贯性和一致性，使系统能够在任务和非任务内容之间实现平滑的过渡。实验表明，将社交对话内容与任务对话相结合的系统比纯任务导向的系统具有更好的任务成功率和更高的用户参与度。

Mar, 2017

本文提出了一种深度视听语音增强网络方法，借助于对应视频中的嘴唇信息，能够在多人同时说话的情境下，从语音信号中分离出个人的发言，该方法适用于训练时未涉及到的说话者，并在不受限制的环境下，展现了出色的定量和定性效果。

Apr, 2018

本文提出了一个多阶段的粗到细对比学习模型训练方案，用于联合对比学习和聚类在任务导向的对话中识别意图，该方法在 DSTC11 跟踪 2 评估结果中排名第一。

Mar, 2023

本文介绍了一种跨学科的对话科学，基于一个大型的多模式语料库，通过语音，视频和转录记录了 1656 次对话，利用此实验数据，研究人员提出了新的算法并应用机器学习技术，以分析对话成功或失败的因素，并探讨对话与幸福感之间的关系。

Mar, 2022

研究智能助手是否可以匹配用户的聊天意图，构建了新的数据集以及使用推特和 Web 搜索查询来处理无特定领域的用户发言，实验结果表明，使用 tweets 和 Web 搜索查询可以进一步提高智能助手的 F1 分数。

May, 2017