AAAINov, 2021

GALAXY：一种利用半监督学习和显式策略注入进行任务导向对话的生成式预训练模型

PDF
TL;DR本文提出了 GALAXY，一个使用半监督学习从有限标注的对话和大规模无标签的对话语料中显式地学习对话策略的新型预先训练对话模型。实验结果表明，GALAXY 显著提高了任务导向对话系统的性能，在 In-Car，MultiWOZ2.0 和 MultiWOZ2.1 基准数据集上取得了新的最优结果，并且在各种低资源设置下表现出更强的少样本学习能力。
发现论文，激发创造
  • 基于混合对比学习的星系基础模型构建

    本文利用 BYOL 框架进行星系图像数据标签预处理任务，在使用 GZ-Evo v0.1 中，暴露相应的特征，通过深层学习和对比学习进行星系图像分类预测，在低标签迁移领域，我们的预处理 / 对比方法最大限度地提高了下游的精度 (+6%)。

    Jun, 2022

  • 面向任务导向对话系统的半监督知识驱动预训练

    本文介绍了我们的 Track 2 模型，利用大规模真实世界的 MobileCS 中国 TOD 数据集，使用半监督学习和强化学习构建知识引导的对话模型，实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳，尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。

    Oct, 2022

  • SPACE-3：面向任务对话理解与生成的统一对话模型预训练

    本文介绍了一种名为 SPACE-3 的新型半监督预训练会话模型，它可以从大规模对话语料库中学习任务导向对话系统所需的语义向量表达，并在若干下游任务中表现出领先的性能。

    Sep, 2022

  • 基于预训练语言模型的知识驱动对话生成

    我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

    Oct, 2020

  • 生成、标注和学习：合成文本的自然语言处理

    该研究探讨了使用语言模型作为一种合成无标注文本的来源来进行自然语言处理，并提出了 “生成、注释和学习（GAL）” 的通用框架，通过对合成文本进行知识蒸馏、自训练和少样本学习应用来生成高质量特定任务文本，最终在多个应用中取得了显著的收益。

    Jun, 2021

  • 面向任务的对话理解的树形半监督对比预训练模型 SPACE-2

    本文提出了一个树状结构预训练的对话模型 SPACE-2，通过半监督对比预训练从有限的已标注对话和大规模未标注对话语料库中学习对话表示，实现了在七个数据集和四个流行的对话理解任务上的最新成果。

    Sep, 2022

  • 利用明确的过程说明来提高数据效率的行动预测

    本文提出了一种数据高效的解决方案，将知识检索模块与大型语言模型相结合，利用代理指南中的显式指令构建对话系统，并通过半监督预训练方案进行训练，同时评估在行动状态跟踪和工作流发现两个对话任务中的表现，结果表明程序化知识增强提高了在低数据密度下的准确性。

    Jun, 2023

  • NeuralWOZ: 基于模型的仿真学习任务导向对话收集

    本文提出了一种新型的对话收集框架，名为 NeuralWOZ，该框架使用基于模型的对话模拟，并且使用 collector 和 labeler 两个模型，其中 collector 生成对话，而 labeler 则将生成的对话进行注释并将注释形成为一个多项选择问题。这个方法在对话状态跟踪的零样例转移学习中表现出了很好的效果，产生的合成对话语料库在多个领域上以 4.4％的联合目标准确度和 5.7％的待测试覆盖率的改善实现了新的最高水平。

    May, 2021

  • 响应增强的半监督对话查询生成

    提出了一种半监督学习框架 SemiDQG，通过使用未标注的对话数据来改进模型性能，使用类似度选择策略选取高质量伪查询进一步训练模型，并采用 REINFORCE 算法作为精细化训练信号，实验结果表明该框架在跨领域和资源有限场景中具有显著优势。

    Dec, 2023

  • Galactica: 科学领域的大型语言模型

    该论文介绍了 Galactica: 一个可以存储、组合和推理科学知识的大型语言模型。通过在大量科学文章、参考资料、知识库和其他来源上的模型训练，我们在多个科学任务上超越了现有模型。这表明了语言模型作为科学新接口的潜力。

    Nov, 2022