ACLMay, 2020

ADVISER：一个开发多模态、多领域和社交式对话代理的工具箱

PDF
TL;DRADVISER 是一个开源、多领域的对话系统工具包，能够开发多模态（包括语音、文本和视觉）、社交互动（如情感识别、参与度预测和反馈）的交互式代理。它基于 Python 实现，灵活易用，不仅适用于机器学习研究人员等技术经验丰富的用户，也适用于语言学家或认知科学家等技术经验较少的用户，因此为协同研究提供了一种灵活的平台。
dialog systemmulti-modalconversational agentssocially-engagedadviser
发现论文，激发创造
  • 多模态开放领域对话

    本文旨在研究结合先进的开放域对话代理和视觉模型，以实现多模态对话的目标，研究不同的图像融合方案和域自适应预训练和微调策略，并展示了我们最好的模型不仅在多模态对话方面优于现有的强模型，而且在纯文本对话方面表现也和其前身 BlenderBot 一样好，同时我们还研究并整合了安全组件，展示这种努力不会削弱模型性能方面的吸引力度量。

    Oct, 2020

  • 构建多模态人工智能聊天机器人

    该研究旨在创建一个多模态人工智能系统，可以与人类交谈并分享相关图片，其中包括了图片检索模块和图片理解生成回复的模块。使用 ViT，BERT，GPT-2/DialoGPT 三个模型，在自动生成的和人工评估中结果显示，在开放式场景的图像识别中表现优异。

    Apr, 2023

  • 支持专家使用多模式机器学习工具进行对话视频中人类行为分析

    通过基于专家研究的设计考虑，我们开发了 Providence 工具，它是一个基于可视化编程的工具，致力于解决多模态场景搜索中存在的效率和客观性问题。该工具使专家能够结合多种机器学习算法捕捉人类行为提示，而无需编写代码。通过研究和实践验证，我们证实了该工具的可用性、输出质量和可定制性，并且证明了专家和人工智能团队在高度人类环境的领域中的优势。

    Feb, 2024

  • 多模态会话任务引导系统中的人类参与方法

    本文讨论了人类在指定任务中使用应用程序所面临的挑战，提出了任务引导系统的发展需要寻找信息检索和会话系统来帮助任务的执行者，并针对现有数据集开发了一个基于 Wizard-of-Oz 的数据收集工具，进行了初步实验。

    Nov, 2022

  • 为虚拟现实中的对话代理赋予声音

    在虚拟现实中，通过多模式和沉浸式交互，可以极大地提升与对话代理的对话体验。本研究提出了一种开源架构，旨在简化虚拟环境中工作的对话代理的开发过程。该架构提供了将不同领域的对话代理以及自定义或基于云的语音识别和语音合成模型集成进来使交互具备语音功能的可能性。利用该架构，我们开发了两个对话原型，分别在非沉浸式显示器和虚拟现实头显中在数字健康领域运行。

    Aug, 2023

  • 学习如何学习：一种用于增量学习视觉定位词义的自适应对话代理

    本研究基于强化学习模型，针对生动图像作为学习基础的人机交互场景，训练了一种多模态对话代理，并基于 BURCHAK 语料库对代理进行了交互式学习和评估，在提高分类器准确性的同时，尽量减少学习过程中的人工操作。结果表明，该代理学习策略的性能超过基于手工定制的策略，并能够与人类模拟器有效协同学习。

    Sep, 2017

  • IMAD: 图像增强的多模态对话

    该研究提出了一种基于多模态视角的对话系统，并通过构建 IMAD 数据集和进行基线模型训练，证明了其在图像解释、数据集建设和模型表现方面具有潜在优势。

    May, 2023

  • 发展交互式旅游规划：由大型语言模型驱动的对话机器人系统

    我们旨在构建一个系统，不仅利用大型语言模型的灵活对话能力，还利用其先进的规划能力，降低人类对话者的讲话负担并高效地规划行程。我们提出了一种将旅行社的复杂任务划分为多个子任务的方法，将每个子任务作为一个独立阶段进行管理，以有效地完成任务。我们的提出的系统在 2023 年对话机器人比赛的预赛中取得了一定的成功，并报告了比赛中发现的挑战。

    Dec, 2023

  • 语音代理：多模式多智能体系统下的人际交流模拟

    提出了一种基于多模态 LLM 的多智能体系统 SpeechAgents，用于模拟人类交流，并通过多智能体调优增强了 LLM 的多智能体能力，实验结果表明 SpeechAgents 可以具有一致的内容、真实的节奏和丰富的情感，同时在高达 25 个代理人的情况下表现出优秀的可扩展性。

    Jan, 2024

  • 工程化会话式编程助手的角色设计案例研究

    程序员助手是一种实验性软件开发环境，它将聊天机器人与代码编辑器集成在一起，使用现有的语言模型和提示来实现对话功能，为特定应用程序提供一种交互模式和交互风格。

    Jan, 2023