May, 2023

视觉为基础的少样本词汇习得

PDF
TL;DR本文提出了一个视觉和语音相融合的模型，用于从仅有几个词 - 图像样本对中学习新单词及其视觉表示。我们的方法包括从大量未标记的语音和图像中，使用给定的词 - 图像示例对挖掘新的无监督词 - 图像训练对，并使用单词到图像的关注机制来确定词 - 图像相似性。新模型的性能比现有方法更好，且需要更少的样本数。
visually grounded speech modelword-image example pairsunsupervised word-image training pairsword-to-image attention mechanismfew-shot learning
发现论文，激发创造
  • 低资源环境下基于视觉支撑的少样本词汇学习

    本研究提出了一种视觉语音模型，能够通过少量的图像和单词样本来学习新词汇及其视觉描述，并通过多模式少量样本的学习在低资源语言 Yoruba 中取得更好的表现。

    Jun, 2023

  • 语音和图像的多模态单样本学习

    研究机器人如何通过视觉和语音标签来学习多模态单样本匹配任务，并且提出了几种基线和高级模型，最后通过在配对的语音和视觉数字数据集上进行实验说明了 Siamese 卷积神经网络在 11 种跨模态匹配方面的卓越性能。

    Nov, 2018

  • 多重语义下走向少样本学习的初步探索

    本研究关注于使用额外语义信息以便在少量样本时进行图像分类，研究表明组合多种语义信息可以带来更好的效果。

    Jun, 2019

  • 语言引导的少样本语义分割

    通过语言信息进行语言指导的少样本语义分割，使用视觉 - 语言预训练模型和遮罩优化来生成高质量伪语义遮罩，引入分布式原型监督方法和互补相关匹配模块来指导模型挖掘支持和查询图像的精确语义关系。在两个基准数据集上的实验表明，我们的方法为语言指导的少样本语义分割建立了新的基准，并达到了与最近的视觉指导方法竞争的结果。

    Nov, 2023

  • 从联合音视频分析中学习类似单词的单位

    本文提出了一种通过语音信号和图像区域的语义相关性，发现连续语音信号中类似于单词的语音单元，并将其与图像区域相关联的方法。这个模型能够有效地实现一种口语语言习得的形式，不使用常规的自动语音识别或文本传输，同时丰富学习词汇的语义含义及图像联系。

    Jan, 2017

  • 基于视觉化支撑的未转录语音关键词预测学习

    这篇论文中，采用图像与未翻译口头说明的组合，研究计算机视觉系统是否可以用于获取语音的文本标签，并使用图片到词语多标签视觉分类器标记图像的软文本标签。然后，训练神经网络将语音映射到这些软目标。结果表明，语音识别系统能够预测话语中出现的单词，并作为口头词组分类器，同时还经常混淆语义相关的词，例如 “男人” 和 “人” ，使其效果更好作为语义关键词识别器。

    Mar, 2017

  • 基于视觉反馈的自监督语音模型中的词语发现

    本文提出了一种可视化感知的口语术语探测方法，通过对自注意力头的训练与分析发现，在自然图像与口语字幕关联的模型中具有强大的单词分割和聚类能力，并在 Buckeye 单词分割和 ZeroSpeech 口语术语探测任务上超过了所有已发表的现有方法。

    Mar, 2022

  • 具有语言结构的短语弱监督视觉定位

    文章提出了一种弱监督方法，该方法以图像 - 句子对为输入，学习以空间注意力掩模的形式定位任意语言短语。我们介绍了一种端到端模型，使用两种精心设计的损失函数学习短语的视觉基础，并在句子中使用引诱的解析树结构来确保注意力掩码的补充性及组合性。

    May, 2017

  • 使用语音到图像检索的语言学习

    本研究提出了一种改进的神经网络方法，借助多层 GRU、重要性采样、循环学习率、向量自我注意力等结构，实现了从口语训练中创建基于视觉的句子嵌入，相比较前人工作取得了显著提升的图像字幕检索性能，并且揭示了模型的哪些层更适合识别输入中的单词。

    Sep, 2019

  • 利用视觉基础的语音建模词汇学习和识别

    该研究使用视觉以及语音的统计依赖关系进行词语识别，并探究其中的单复数形式和词汇竞争效应，同时研究了矢量量化在识别词语方面是否有益。

    Mar, 2022