COLINGSep, 2022

面向任务的对话理解的树形半监督对比预训练模型 SPACE-2

PDF
TL;DR本文提出了一个树状结构预训练的对话模型 SPACE-2，通过半监督对比预训练从有限的已标注对话和大规模未标注对话语料库中学习对话表示，实现了在七个数据集和四个流行的对话理解任务上的最新成果。
pre-trainingcontrastive learningdialog understandingsemi-supervised learningconversation model
发现论文，激发创造
  • SPACE-3：面向任务对话理解与生成的统一对话模型预训练

    本文介绍了一种名为 SPACE-3 的新型半监督预训练会话模型，它可以从大规模对话语料库中学习任务导向对话系统所需的语义向量表达，并在若干下游任务中表现出领先的性能。

    Sep, 2022

  • 对话理解的结构预训练

    本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

    May, 2021

  • 多轮对话中基于两层监督对比学习的响应选择

    该论文研究了在多轮对话中选择最适当的回应是一个检索型对话系统的关键问题，提出了一种基于受监督对比学习的新方法并应用于回应选取中，利用句子标记交换和句子重排序的技术，经过实验验证，该方法明显优于基线和目前各种方法。

    Mar, 2022

  • 面向任务导向对话系统的半监督知识驱动预训练

    本文介绍了我们的 Track 2 模型，利用大规模真实世界的 MobileCS 中国 TOD 数据集，使用半监督学习和强化学习构建知识引导的对话模型，实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳，尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。

    Oct, 2022

  • 基于预训练和微调语言模型的对话中的话语结构提取

    本文研究基于 Pre-trained Language Models (PLMs) 的注意力矩阵构建对话结构的方法，提出了一种无监督和半监督的方法来定位和利用 PLMs 中的语篇信息，并在 STAC 语料库上获得了令人鼓舞的结果。

    Feb, 2023

  • 空间参与力：基于对比的半监督语义分割的协作空间监督

    半监督语义分割采用有限标记图像和大量未标记图像训练分割模型。使用像素级对比学习方法在潜空间中将表示聚合到原型，以获取来自逻辑空间和表示空间的协同监督，在减少过拟合风险和增强两个空间之间知识交流的基础上，通过表示与原型之间的相似性作为倾斜训练指标，实现更高效的对比学习过程。与现有方法相比，我们的方法在两个公共基准数据集上展现出有竞争力的性能。

    Jul, 2023

  • 使用预训练和对比学习进行新意图发现

    本研究提出一种新的意图发现方法，通过多任务预训练和对比损失优化聚类来学习语义表述以扩展对话系统中支持的意图类别。实验结果表明，该方法在半监督和无监督场景下均优于现有方法。

    May, 2022

  • ASR 的对比半监督学习

    本文提出了一种名为对比半监督学习（Contrastive Semi-supervised Learning, CSL）的方法，通过挑选正负样本来替代直接预测教师生成的伪标签，并将其应用于翻译公共社交媒体视频的挑战任务中，从而比标准的交叉熵伪标签（CE-PL）减少了 8% 的 WER。

    Mar, 2021

  • Lang3DSG: 基于语言的对比预训练用于 3D 场景图预测

    我们提出了第一个针对 3D 场景图的基于语言的预训练方法，利用了场景图和语言之间的强关联，通过对比性预训练将文本嵌入关系和预测的 3D 图特征进行对齐，最终实现了在主要语义 3D 场景图基准上的效果最优，超过现有全监督场景图预测方法的显著边缘，并且由于场景图特征与语言对齐，允许我们以零样本的方式查询特征的语言空间。

    Oct, 2023

  • ConSERT：自监督句子表示转移的对比框架

    本文提出了一种对 BERT 进行自监督 fine-tune 的对比学习框架 ConSERT，通过利用无标签文本解决 BERT 生成句子表示时的崩溃问题，进而提高了 sentence representations 的应用性能，实验结果表明在 STS 任务上优于之前的 SOTA 达 8%，并且在与 1000 份样本的情况下表现稳健。

    May, 2021