Jan, 2022

基于双关节分析和共现线索的无监督多模态单词发现

PDF
TL;DR通过利用音韵信息和对象信息来发现言语单元的全新无监督学习方法，能够同时根据多种模态（即视觉、触觉和听觉）使用对象信息，该方法基于非参数贝叶斯双连音分析器（NPB-DAA）发现音素和单词以及多模态潜在狄利克雷分配（MLDA）分类来自对象的多模态信息，实验表明，所提出的方法比现有基准方法具有更高的词汇发现性能。
发现论文，激发创造
  • 从联合音视频分析中学习类似单词的单位

    本文提出了一种通过语音信号和图像区域的语义相关性，发现连续语音信号中类似于单词的语音单元，并将其与图像区域相关联的方法。这个模型能够有效地实现一种口语语言习得的形式，不使用常规的自动语音识别或文本传输，同时丰富学习词汇的语义含义及图像联系。

    Jan, 2017

  • 从原始感官输入中联合发现视觉对象和口语单词

    本文针对语音与图像之间的语义关联关系，探讨了不需要传统监督方式的神经网络模型，并使用了 Places 205 和 ADE20k 数据集来验证模型，在不太需要标签、分割或模态对齐的情况下可以实现语音和图像的自动检索、详细定位以及进行时间、空间上的隐含的物体和单词检测。

    Apr, 2018

  • 无监督声学单元发现的潜在狄利克雷分配的时间扩展

    本文介绍了一种扩展 LDA 模型的方法，利用马尔可夫链来建模时间信息，从而用于语音信号的无监督单元发现。与基本的 LDA 模型相比，扩展后的模型可以更好地描述相邻单元之间的关系，从而得到更好的语音单元划分结果。

    Jun, 2022

  • 自我监督多模态知识蒸馏：利用声音进行多物体检测与跟踪

    提出了一种新颖的自监督 MM-DistillNet 框架，利用多个教师的多样性模态（包括 RGB、深度和热成像）来同时利用互补线索并将知识蒸馏到单一的音频学生网络中，而且还引入了一种新的自监督假设任务来使我们不依赖于人工标注。该方法在探测物体方面具有优越性能，即使在移动的情况下也能使用声音来检测多个物体。

    Mar, 2021

  • 利用 VQ-VAE 从口腔和声学特征进行自监督语音单元发现

    使用关节建模和深度学习研究了如何在自我监督情况下使用关节信息发现语音单元，并在实验中发现联合使用关节和语音学模态可以更准确地表示这些语音学维度。

    Jun, 2022

  • 无监督词语分割与词汇发现：基于声学词嵌入的方法

    提供了一种基于无监督贝叶斯模型的语音分割以及聚类算法，通过将有潜力的单词段嵌入固定维度的声学向量空间，并在此空间创建全词声学模型以及同时执行分割来实现输入语音基于单词类型的完整无人监督标记，模型在连接数字识别任务中取得约 20% 的错误率，优于基于 HMM 的系统。

    Mar, 2016

  • 使用关注力的无监督语音词语切分

    这篇研究是对注意力词分割的首次尝试，通过从语音信号中直接进行词分割，最终目标是在低资源的口头语言中自动识别词汇单位。该方法假定在 UL 语言中的记录与资源充足的语言中的翻译相配对。使用声学单元发现（AUD）将语音转换为伪音段序列，然后使用神经机器翻译模型产生的神经软对齐来分割语音。该研究使用班图语 Mboshi 作为实际的 UL，并与单语和双语基线进行比较，说明了注意力词分割在语言记录方面的潜力。

    Jun, 2018

  • 基于解耦多模式对比学习的无监督自然语言推断

    本文提出了一种名为 MACD 的多模态对齐对比去耦合学习网络，通过对比学习将视觉信息编码到解耦的文本编码器中，从而使其可以嵌入视觉知识，提高了无监督的自然语言推理的性能。

    Oct, 2020

  • 用无监督深度学习架构学习成对联想图像

    该论文提出了一种无监督多模态学习系统，通过两个输入通道学习联想表示，使用深度学习架构训练，可以生成准确度和反向网络的模型。

    Dec, 2013

  • 一种新的多模态动态融合网络用于口语话语中的干扰检测

    本研究提出了一种基于早期融合和自注意力的多模态交互的新颖多模态体系结构，通过使用文本和声学模态之间的多模态动态融合网络，在个体话语中进行语调检测，结果表明在英语 Switchboard 上，我们的模型实现了最先进的效果，并且在文献中优于以前的单模态和多模态系统。

    Nov, 2022