利用 LLM 代理生成合成对话数据集
通过使用强化学习进行交互式对话的目标导向任务,本研究提出利用大型语言模型生成可能的交互示例,再通过强化学习算法优化这些示例,以实现更优化的交互能力,从而在教学和偏好引导等不同目标导向对话任务中实现了最新的性能。
Nov, 2023
使用专家编写的少量对话作为上下文示例,通过提示生成社交对话数据集,可在多方交流任务中创建更多的合成数据。与人类收集的对话相比,合成的多方交流在所有度量维度上都获得了更多的好评。
Feb, 2023
通过建立 Generator-Critic 架构,使用 LLM 生成会话,借助 Synthetic-Persona-Chat 评估了高质量对话数据集对 NLP 模型的影响。
Dec, 2023
本文提出了 DialogBench,这是一个用于评估 LLMs 作为类似人类对话系统的能力的对话评估基准,包含 12 个对话任务。通过对 28 个 LLMs 进行广泛的测试,结果表明虽然细化调整能改善 LLMs 的人类对话系统相似度,但对于大多数 LLMs 仍有提升空间。
Nov, 2023
本研究探讨了大型语言模型(LLM)在改进基于流水线的对话代理中的能力,并通过私人银行业务的实例证明了 LLMs 的潜力和公司采用混合方法的好处。
Sep, 2023
提出了一种利用 GPT 模型进行对话系统评估的新框架,通过对模型进行特定条件训练来生成评估指标,采用少量的演示和指导进行提示,可以在自动化评估过程中取得与人类评价高度相关的结果。
Apr, 2023
本文提出了一种利用大型语言模型从数据集中提取对话策略的方法,通过将对话转换为规范形式的中间表示,并结合图形遍历算法提取对话流程,以提供对话设计人员更多的控制,从而改善对话策略开发过程的效率工具。
Jun, 2024
自然语言处理领域的现代机器学习技术可用于自动生成目标导向对话系统的脚本。本文提出了一个研究自动生成目标导向对话系统脚本的通用框架,并描述了一种用于预处理 JSON 格式对话数据集的方法。比较了基于 BERTopic 和潜在狄利克雷分配的两种提取用户意图的方法,并比较了基于逻辑回归和 BERT transformer 模型的两种分类用户语句的算法实现。与其他方法相比,使用 bert-base-uncased 模型的 BERT transformer 方法在精确度(0.80),F1 分数(0.78)和马修斯相关系数(0.74)等三个指标上表现更好。
Dec, 2023
使用拥有不同人格特征的 agents, 并采用模拟戏剧网络的方法生成剧本,在多项标准上经过自动和人类评估,显示该方法优于基于 vanilla-GPT2 的基线,并引入新的度量标准来评估对话的一致性,并展示其有效性。
Jun, 2022
本文提出了基于预训练模型的对话生成框架,采用灵活的注意力机制和离散的潜在变量,解决了响应生成中存在的一对多映射问题,并设计了两种互补的任务对话响应生成和潜在动作识别。实验结果表明,该框架在三个公开数据集上验证了其优越性。
Oct, 2019