Nov, 2022

创建面对面多模式人机交互的语言学和计算要求

PDF
TL;DR本研究通过对人与虚拟人物互动对话进行语言学、组织结构及结构分析，提出了为机器创建面对面多模态界面的必要性，并观察了多模态动作和事件的分布，数据表明需要在多模态融合层之外增加一个控制层来组织会话流、集成社会背景以及拟定进展计划，需要将会话分析、认知科学和心智理论等内容融入到界面系统中。
avatarsmultimodal interactionsconversation analysistheory of mindhuman-machine interaction
发现论文，激发创造
  • 直白真实对话：面对面交流的口语对话模型

    本研究介绍了一种新颖的面对面口语对话模型，利用用户输入的音频 - 视觉语音并生成回应的音频 - 视觉语音，旨在创建一种不依赖中间文本的化身聊天机器人系统，并引入 MultiDialog，这是第一个包含约 340 小时近 9000 个对话的大规模多模态（音频和视觉）口语对话语料库。

    Jun, 2024

  • 互动语言中的问题和失败：朝向语言学知识驱动的分类学

    本研究旨在介绍一种系统的研究议程，旨在理解人类与人工会话代理之间的相互作用的本质（即人机交互，HMI），具体来说，我们将采取明确的语言学角度，重点关注已知影响人类对话流程的语言学定义变量（即人与人之间的交互，HHI）。

    Nov, 2023

  • 面对面对比学习用于社交智能问答

    本文提出了一种名为 Face-to-Face Contrastive Learning (F2F-CL) 的图神经网络模型，用于建模人类社交互动中的面对面交流动态，并在 Social-IQ 数据集上实现了最先进的效果。

    Jul, 2022

  • MPCHAT: 面向多模态角色驱动的对话

    本研究旨在通过引入图像模态转化多维人物角色的性格特点和经验，探究多模态人物角色在对话中的应用和作用，并通过多个任务的实验证明，多模态人物角色的引入可以显著提升多模态对话的性能表现。

    May, 2023

  • 使用机器学习方法增强具象学习环境的交互分析的第一步

    通过机器学习和多模态学习分析来支持科学家研究分析儿童在混合现实环境下的具身学习，简化研究者的任务，深入了解学生在模拟场景中通过动作、注视和情感反应等方式与科学互动的学习过程。

    May, 2024

  • 语音代理：多模式多智能体系统下的人际交流模拟

    提出了一种基于多模态 LLM 的多智能体系统 SpeechAgents，用于模拟人类交流，并通过多智能体调优增强了 LLM 的多智能体能力，实验结果表明 SpeechAgents 可以具有一致的内容、真实的节奏和丰富的情感，同时在高达 25 个代理人的情况下表现出优秀的可扩展性。

    Jan, 2024

  • 人类交流理解的多注意力循环网络

    本文介绍了一种名为多注意力循环网络（MARN）的人类交流理解神经架构，通过使用多注意力块（MAB）的神经组件，MARN 致力于发现和存储影响人际交往的互动，并在多模态情感分析、说话者特质识别和情感识别方面显示出最先进的性能。

    Feb, 2018

  • 多模态对人类和机器在翻译和图像字幕中是否有帮助？

    本文介绍了 LIUM 和 CVC 为 WMT16 Multimodal Machine Translation Challenge 开发的系统。我们在单模态数据和多模态数据的基础上，探索了各种比较方法，包括基于短语的系统和使用单模态或多模态数据训练的注意力循环神经网络模型。我们还进行了人类评估，以估计多模态数据对于人机翻译和图像描述生成的实用性。根据自动评估指标 BLEU 和 METEOR，我们的系统在这两个任务中获得了最佳结果。

    May, 2016

  • 朝着基于多智能体通信的语言学习

    提出了一种交互式多模态框架，通过协作推理游戏，实现神经网络学习语言，初步实验结果可喜，但需注意避免智能体发展出仅针对游戏有效的特定通信编码。

    May, 2016

  • 多模态机器学习的基础和趋势：原理、挑战和开放性问题

    本文旨在探讨多模态机器学习的计算与理论基础，定义了三个关键原则和六个核心技术挑战，并提出多个未来研究的开放性问题。

    Sep, 2022