ACLJun, 2019

自监督对话学习

PDF
TL;DR本文提出了一种自我监督的学习任务，不一致的次序检测，来明确捕获对话中的流程，通过抽样三元组引用来预测对话是否错序，进而设计一个联合的学习框架，使得 SSN 可以通过对抗训练指导对话系统实现更连贯、相关的对话学习，实验证明该方法不仅适用于开放域对话场景，而且在 OpenSubtitiles 和 Movie-Ticket Booking 数据集上达到了新的最优表现。
dialogue learningself-supervised networkorder detectionadversarial trainingstate-of-the-art performance
发现论文，激发创造
  • 口语问答自学习的自监督对话学习

    本研究通过自监督学习方式，包括不连贯性识别，插入检测以及问题预测，明确捕捉口语对话文档之间的指代消解和对话连贯性，提高了口语对话的意义和连贯性。在 Spoken-CoQA 数据集上取得了最先进的结果。

    Jun, 2021

  • 自监督学习用于音视频发言人分离

    提出自监督的音视频同步学习方法，通过引入动态三元组损失和多项式损失函数来解决说话人分离问题，结果表明该方法在人机交互系统中大幅提高了 F1 分数和降低了分离误差率，并且介绍了一个新的大规模中文音视频语料库。

    Feb, 2020

  • 面向任务的对话作为自我监督的自动语音识别催化剂

    通过对话的对比学习方法，在不成功的对话中发现易于检测的问题，从而提高自动语音识别模型在任务导向对话中的性能。

    Jan, 2024

  • 对抗对比自监督学习

    本文介绍了一种基于在线负样本对挖掘的自我监督深度学习范式，包括学生教师网络、正负样本对挖掘和三元组式的损失函数等，实验表明该方法可以有效地提高标签效率并在 ILSVRC-2012 上表现优异。

    Feb, 2022

  • 神经句子排序

    本文提出了一种数据驱动的方法，学习句子的逐对排序，以改进自然语言生成应用程序中句子排序的性能。该方法在大规模学术文本语料库上进行验证通过，并公开源代码和数据集。

    Jul, 2016

  • 基于自监督和伪自监督的多方对话阅读理解中发言者和关键语句的预测

    本文介绍了一种应对多方对话机器阅读理解中复杂讲话信息和嘈杂的对话语境等困难的方法，通过使用两种无需标注的自监督预测任务来隐式地建模讲话者信息流和抓取长对话中显著的线索。实验结果表明，本方法比竞争基准和当前最先进的模型更为有效。

    Sep, 2021

  • 自监督神经机器翻译中的自主课程学习

    该研究提供了有关 SSNMT 模型在训练期间进行采样选择的深入分析，证明了该模型能够自我选择越来越复杂和相关任务的样本，并执行去噪曲线，以提高提取和翻译性能。其中，相互监督信号的动态对提取和翻译性能至关重要。研究显示，使用 Gunning-Fog 可读性指数时，SSNMT 从适合高中学生的 Wikipedia 数据开始提取和学习，并迅速转向适合大一学生的内容。

    Apr, 2020

  • 神经序列生成的自训练再探

    本文提出了一种基于自训练的半监督学习方法，通过加入 label 缺失的无标签数据和模型预测，模型的性能和精确度可以得到有效的提升，而 dropout 和注入噪声则是关键操作。

    Sep, 2019

  • 无对比自监督学习用于从语音中提取话语级别信息

    应用无对比标签的自监督方法 DINO 学习语音的 utterance-level 嵌入，通过在 speaker verification、speech emotion recognition 和 Alzheimer's disease detection 任务上进行转移学习表明该方法优于监督 x-vector。

    Aug, 2022

  • 无监督学习层次化对话结构

    这项工作引入了一种无监督的学习层次对话结构的方法，包括对话行为和子任务。结构显示对于三个会话级理解任务，包括对话模型的优化是有用的。此外，通过自动摘要，学习的有限状态子对话网络是可解释的。

    May, 2022