本文介绍了 Geno 开发工具，该工具可以帮助开发人员在不需要过多自然语言处理专业知识的情况下，将语音输入功能添加到现有的基于 GUI 的 web 应用程序中，支持多模态引用 GUI 上下文的语音命令。

Jul, 2020

该论文提出了首个多模态人类反应生成框架，可以生成适当和真实的人类风格反应，用于回应用户行为，适用于各种人机交互场景和虚拟代理 / 机器人行为。

Jul, 2023

本文提出了一种名为 ReactFace 的新框架，通过学习代表多种适当面部反应的面部反应分布，并将生成的面部反应与说话者的语言和非语言行为同步，生成多个不同但适当的逼真的人类面部反应序列。

May, 2023

Genie 是第一个通过无监督方式从无标签互联网视频中训练得到的生成交互式环境，它可以根据文本、合成图像、照片甚至草图生成无限多种可控行为的虚拟世界。拥有 11B 个参数的 Genie 可以被视为基础世界模型，它由时空视频分词器、自回归动力学模型以及简单可扩展的潜在动作模型组成。尽管训练时没有使用任何真实行为标签或其他领域特定的要求，Genie 可以使用户基于逐帧操作生成的环境。此外，由此产生的学习潜在动作空间可用于训练代理机器人模仿未见过的视频行为，为未来培训通才型代理机器人打开了道路。

Feb, 2024

MM-REACT 是一种系统范例，将 ChatGPT 与一组视觉专家集成在一起，以实现多模态推理和动作，并引入了文本提示设计，以表示文本描述、已文本化的空间坐标和对齐的文件名来处理多模态信息。

Mar, 2023

本文介绍了 Multi-modal Multiple Appropriate Facial Reaction Generation Challenge（REACT2023）以及其目的、数据集和基准系统的性能表现。

Jun, 2023

通过创新的数据生成方法，Genixer 可以为不同任务生成高质量的多模态指令调整数据，从而改进现有的大型语言模型，在图像字幕和视觉问答等任务中取得了最先进性能，并为跨领域的创新应用提供了可能。

Dec, 2023

EasyGen 是一个高效的模型，通过结合扩散模型和大型语言模型（LLMs）的能力，来提高多模态理解和生成。与现有的多模态模型不同，EasyGen 建立在一种名为 BiDiffuser 的双向条件扩散模型的基础上，推动了模态之间更有效的交互。EasyGen 通过整合 BiDiffuser 和 LLM，通过一个简单的投影层处理图像到文本的生成。与大多数现有的多模态模型仅限于生成文本响应不同，EasyGen 还可以利用 LLM 生成文本描述来生成适当的视觉响应。大量的定量和定性实验证明了 EasyGen 的有效性，其在实验室环境中易于实现的训练。源代码可以在此 https URL 中获得。

Oct, 2023

通过机器学习模型在 REACT 2024 挑战中开发和基准测试了能够生成多个适当、多样、真实和同步的面部反应的方法，并提供了该挑战的指南、数据集以及在两个子挑战中基线系统的性能。

Jan, 2024

该研究关注文本生成的人类评估问题，通过注释设计选择和人类评估数据，提出一种自动化去除噪音注释者的机制，并基于此开发了 GENIE 系统，用于跨不同任务运行标准化的人类评估，提供总排行榜，已在四个核心文本生成任务上进行测试。

Jan, 2021