ACLApr, 2022

大规模对话 AI 系统中可扩展和鲁棒的自学习技能路由

PDF
TL;DR本文提出了一种可扩展的自学习方法，以探索技能路由替代方案，无需引起用户体验中断的突然更改，并通过经常的模型更新逐步改善路由，通过离线和在线 A / B 实验在商业大规模对话系统中演示了所提出方法的实际效果。
发现论文，激发创造
  • 大规模会话型 AI 代理的基于反馈的自学习

    本研究提出了一种自学习系统，使用用户 - 系统交互反馈信号自动纠正对话式人工智能系统中出现的各种组件错误，并通过吸收马尔可夫链模型挖掘这些反馈信号中的共同模式，进行可扩展的改进，实现了大规模对话式人工智能系统的自主学习，能显著降低过多次错误和缺陷。

    Nov, 2019

  • 对话系统中技能路由尾部流量鲁棒性的数据增强

    研究在大规模对话系统中使用异构技能路由数据的扩充与针对长尾数据的鲁棒操作进行训练的方法，采用编码器 - 解码器生成框架来扰动原始数据字段并创建合成训练数据，通过实验结果展示了该方法的有效性。

    Jun, 2023

  • 自学对话系统中缺陷行为的可扩展和安全修复

    本文提出了一种基于历史回归事故报告的高精度数据样本的培育和利用方法，以在在线部署之前验证、保护并改进政策，解决 Off-Policy 强化学习在大规模商业设置中难以平衡政策改进和经验连续性的问题，并提高了对话系统的用户满意度。

    May, 2023

  • 大规模对话式人工智能中基于自我意识的反馈型自学习

    本文探讨了基于马尔可夫的查询重写系统在大规模对话 AI 代理中的应用以及反馈对训练结果的影响，提出了一种超级位置法邻接矩阵来改进马尔可夫图的构造，并使用数据增强策略简化学习过程。实验表明，自我感知模型总体性能提高了 27.45%，相对缺陷减少了 31.22%，并且能更快地适应全球客户的偏好变化。

    Apr, 2022

  • 终身学习对话系统：自学聊天机器人

    本文提出使用不断学习的方法，通过与用户进行对话，改进对话系统（chatbots）中按人工规则编译知识库和局限于理解自然语言的能力，提高在多种语言表达和聊天技能方面的用户满意度。

    Sep, 2020

  • 面向会话式 AI 系统的受控自学习的受限策略优化

    本研究提出了一种可扩展的框架处理个别领域的细粒度探索目标，通过用户定义的限制来确保商业关键领域的政策偏差较少，并将更多的探索预算分配到音乐等领域，提出的方法通过一个元目标调整约束违规惩罚项的自适应，鼓励领域间平衡的约束满足，实验结果表明该方法在政策价值和约束满足率之间实现了最佳平衡。

    Sep, 2022

  • 衡量大型语言模型可扩展监督的进展

    本篇论文讨论了监督强于人类水平的 AI 系统的问题，提出了一个实验设计并探讨如何通过与打破传统 AI 的对话式助手交互的方式来解决这个问题。在基于两个问答任务进行的试验中，我们发现，通过这种方式监管的人类表现显著优于只使用大语言模型或人类自身的表现。

    Nov, 2022

  • 使用强化学习进行开放式对话的动态规划

    本研究利用强化学习技术结合最先进的自然语言理解模型创造了一个实时的对话系统，并在使用谷歌智能助手的实验中，使用众包数据进行训练，显著超越了强化模型，证明其对于自然人对话有较高的开放性和可行性。

    Jul, 2022

  • 朝向自学习的端到端任务导向对话系统

    本文研究了如何通过自学习的方式使得 Task Bots 自适应于动态环境，并提出了 SL-AGENT 框架，该框架包含一个对话模型和一个预训练的奖励模型，能够在无需或最小化人工标注的情况下通过强化学习在人机交互中学习，并在自动和人工评估中证明其有效性。

    Jan, 2022

  • 利用技能对技能监督进行知识追踪

    本文通过专家指导下的技能关系构建知识追踪模型，在限制数据情况下进行了广泛实验，并发现该模型在冷启动情况下性能表现更佳。

    Jun, 2023