使用 GPT 从对话中交互学习分层任务
本论文介绍了一种学习对话信息表征、提高决策效率的方法,通过解耦对话表述中的语义和语言实现,使用学习到的表征完成对话生成、规划和增强学习等任务,在实验中效果比之前的工作更佳。
Dec, 2017
本文提出一种适用于任务导向型对话系统的模型,利用知识库和对话的依存关系图结构信息解决了如何有效地将外部知识库整合到学习框架中以及如何准确捕捉对话历史语义的挑战。此外,该模型采用多跳推理能力以及循环单元架构进行表示学习。实验结果表明,该模型在两个不同的任务导向型对话数据集上均优于现有模型。
Oct, 2020
该研究旨在创建一个交互式、自然语言接口,通过学习用户在模拟机器人环境中完成任务。该接口引入了一种神经语义解析系统,通过分解学习新的高层抽象:用户通过将描述新行为的高层话语分解为它可以理解的低级步骤来与系统互动。作者的方法弥合了现有方法之间的差距,并证明了现代神经系统的灵活性以及基于语法的方法具有的一次可靠泛化能力。研究还讨论了实现交互式范式的潜力的障碍。
Oct, 2020
本文提出了一种基于大规模预训练模型(如 GPT-2)的任务驱动对话系统纯自然语言生成任务,以简化复杂的词语替换处理,但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题,因此我们设计了一种新的 GPT-Adapter-CopyNet 网络,它将轻量级 adapter 和 CopyNet 模块融入 GPT-2,以实现更好的迁移学习和对话实体生成,而且实验结果表明,我们的方法在自动和人类评估方面的性能显著优于基线模型。
Aug, 2021
本研究探讨了 ChatGPT 在话语语篇分析中的能力,特别是话题分割、话语关系识别和话语分析三个任务的能力。结合创新的思维链(COT)方法,发现 ChatGPT 对于话题分割有较好的表现,但在话语关系识别和话语分析等较难的任务中有待提高。
May, 2023
本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制,并提出了一种基于 TransferTransfo 和生成模型预训练的对话模型,并在 MultiWOZ 数据集上进行了验证,结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题,进而支持构建更具吸引力和更流畅的任务导向的对话代理人。
Jul, 2019
使用语言模型和符号集成的交互式任务学习系统(VAL)能够从自然语言中获取层次化任务知识,并且被用户在视频游戏环境中认为是自然的语言来成功教导。
Oct, 2023
本研究提出了一种新的框架,利用 ChatGPT 进行文本分类等特定任务,同时提高其解释性。该框架通过知识图谱抽取任务从原始数据中提取精细和结构化的知识,并将其转化为图形,进而用于训练可解释的线性分类器进行预测。实验结果表明,与直接使用 ChatGPT 相比,我们的方法可以显著提高性能,并提供比以前文本分类方法更透明的决策过程。
May, 2023
本文提出了一种基于层级标注的语义解析方案,能够有效且准确地分析复杂的组合查询,同时发布了包含 44000 个标注查询的数据集,并证明此方案在标准句法分析模型上的表现优于序列到序列的方案。
Oct, 2018
本文介绍了一种新的混合架构,将 GPT-2 与来自 Graph Attention Networks 的表示相结合,以实现逐步预测插槽值,并捕获跨域的插槽之间的关系和依赖关系,以提高多域会话跟踪的性能。该模型通过图模块捕获插槽之间的相互依赖性并提高了跨多个域常见的值的预测。
Apr, 2021