ICMLNov, 2021

通过对比学习预训练任务，实现噪声鲁棒的唤醒词检测，快速引入新的唤醒词

PDF
TL;DR研究表明，利用对比学习作为预训练任务有助于检测模型泛化到不同词和噪声条件， 这在支持新的触发词时有重要意义，而提供预训练的技术包括有监督对比技术和使用长句音频的分块词的新型自监督训练技术，这些技术使用更少的数据可用性在新的触发单词上具有可比较的结果。
发现论文，激发创造
  • 通过自监督预训练实现噪声鲁棒的关键词检测

    使用自我监督学习（SSL）预训练算法 Data2Vec 可以提高关键词识别（KWS）模型在嘈杂环境下的鲁棒性。

    Mar, 2024

  • 多任务自监督学习用于消除语注检测

    本文针对训练数据短缺的问题，提出了使用自监督方法结合无标注数据构建伪训练数据进行预训练，并利用有标注的训练数据进行微调的方法，达到了使用少量数据在英语 Switchboard 数据集上与之前使用全数据进行训练的系统表现相当的结果。使用全数据进行训练时，我们的方法可将误差降低 21%。

    Aug, 2019

  • 自然语言处理中对比预训练概述：方法、经验教训和展望

    本文总结了最近自监督和有监督对比 NLP 预训练方法，并描述了它们在提高语言建模、零样本学习、预训练数据效率和特定 NLP 终端任务方面的应用。文章介绍了关键的对比学习概念，总结了应用和交叉领域关系的结果。最后，我们指出了对比 NLP 的未来挑战和方向，以鼓励将对比 NLP 预训练推向近期在图像表示预训练中的成功。

    Feb, 2021

  • 使用对比预训练和对抗过滤的强健任务导向对话生成

    本研究探讨了数据人工制品对机器学习模型泛化能力所产生的影响，提出一种基于对比学习的框架，试图鼓励深度学习模型学习普适规律并忽略数据人工制品。研究表明该方法具有很好的实验效果。

    May, 2022

  • Commonsense Reasoning 的对比自监督学习

    本文提出了一种自我监督方法来解决代词消岐和 Winograd Schema 挑战问题，利用 transformer networks，采用特征训练语料库的结构，并构建配对对比辅助预测，通过对比边缘的互斥损失进行规范化，实现常识推理，在常识推理任务中表现良好，并且开辟了利用廉价的自我监督以便在常识推理中获得性能提升的途径。

    May, 2020

  • 面向频率的对比学习在神经机器翻译中的应用

    本文提出一种基于词频感知的令牌级对比学习方法，旨在从表示学习角度解决现代神经机器翻译系统中低频词预测的挑战。经实验证明，所提出的方法不仅可以显著提高翻译质量，还可以增加词汇多样性并优化词表示空间。与相关的自适应训练策略相比，该方法在不牺牲精度的前提下提高了低频词汇量的召回率稳健性。

    Dec, 2021

  • 利用受监督对比学习进行生物声学少样本检测的预训练表示

    通过数据增强和监督对比学习框架，利用少量标注样本实现了对生物声学应用中的声音事件进行检测和分类的深度学习方法，并在 DCASE 挑战中获得了较好的性能。

    Sep, 2023

  • 使用预训练和对比学习进行新意图发现

    本研究提出一种新的意图发现方法，通过多任务预训练和对比损失优化聚类来学习语义表述以扩展对话系统中支持的意图类别。实验结果表明，该方法在半监督和无监督场景下均优于现有方法。

    May, 2022

  • 使用有限和合成的语音数据训练关键词检测器

    本文研究使用合成语音数据为小型的口语术语检测模型训练提取有用特征的预训练语音嵌入模型，相较于在 500 个真实示例上训练模型，只使用合成语音即可达到同等精度。

    Jan, 2020

  • 面向任务的预训练，提升对含噪标签的学习：非洲语言文本分类探究

    本文主要研究了如何应对在低资源语言中的文本分类中存在的标注噪声问题，并提出了一些噪声处理技术和使用任务自适应的预训练技术来解决这个问题。

    Jun, 2022