通过引入协同图像排序任务,我们解决了对于可见语境对话的研究的假设简化问题,并描述了一项涉及协作指称过程的小规模数据收集实验的结果。
Sep, 2023
本文提出并评估了一种基于多智能体社区的对话框架,在不牺牲任务性能的情况下,通过社区强制规范产生更相关和连贯的对话。
Aug, 2018
本文介绍了一个大规模的众包文字冒险游戏作为研究平台,用于研究基于场景的对话。在其中,代理可以感知,表情和行动,同时与其他代理进行对话。我们介绍了在这种情况下训练最先进的生成模型和检索模型的结果。我们展示了除了过去的对话,这些模型还能够有效地使用潜在世界的状态来调整它们的预测,特别是使用本地环境的详细信息,包括位置描述和其中存在的对象(及其可用性)和角色(及其先前的行动),可以更好地预测代理行为和对话。我们分析了在这种设置中成功落地所需的要素,以及每个因素如何与能够成功说话和行动的代理相关。
Mar, 2019
本文提出一个基于神经网络的对话模型,用于协同解决局部可见参考游戏。该模型通过结构化的参考解析器精准地理解对话内容,利用递归记忆处理复杂任务并采用合理的生成策略,大幅提高了任务完成率。实验结果表明,该模型相对于同领域前沿技术取得了显著的性能提升。
Sep, 2021
本文提出了一种基于视觉支撑和对话系统组件融合的对话状态编码器,并以猜谜游戏 GuessWhat?! 为测试基地。通过多任务学习和协作学习,得出本文方法比基准系统更准确且具备更好的语言技能。
Sep, 2018
本文介绍了一个交互式培训方法,以改进自然语言对话系统的视觉基础任务。培训过程中,共同的奖励函数引导着两个代理逐渐适应并合作完成任务,同时,该参数化奖励函数更新自身使训练效果得到了明显提高。虽然我们在训练过程中观察到了语言漂移问题,但我们提出使用奖励工程来提高生成对话的可解释性。此外,该研究结果表明评估目标为视觉对话任务时,需要比任务成功率更有语义相关性的评估标准。
Dec, 2017
本研究探讨了在对话中建立共同知识的重要性,并提出了一种使用即兴剧场中的 yes-and 原则构建共同语境的方法,并且使用 fine-tune 后的聊天机器人与人类评估确认了这一结论。
Apr, 2020
本研究采用语言建模方法,在 Minecraft 数据集的协作建筑任务中进行多模态任务理解和任务导向对话理解任务,以提高 AI 系统的语感,实现更好的人机互动。实验结果表明,我们的方法具有更大的优势和应用潜力。
Jun, 2023
这篇实验研究分析了信息寻求对话中大型语言模型在分类明示或隐含对话转换以及预测对接知识元素方面的能力,并揭示了大型语言模型在这两个任务中遇到的挑战,讨论了通过流程架构和知识库改进大型语言模型的对话接地理解的研究工作,在对话中处理对接知识的复杂性方面,旨在开发更加有效的对话系统。
Jun, 2024
通过在多智能体通信中引入语言模型和视觉约束等训练约束,可以有效避免非语言性的奖励对预先训练的代理产生的语言漂移,从而使预先训练的代理在保留英语语法的同时学会准确传达信息。
Sep, 2019