visual speech recognition | BriefGPT

关键词visual speech recognition

搜索结果 - 37

ICLR从原始数据中联合学习视觉和听觉语音表征
RAVEn 是利用自主学习方法联合学习视觉和听觉语音表征的一种多模态方法，其预训练目标涉及编码掩码输入并预测由缓慢演化的动量编码器生成的文本内容。发现 RAVEn 在视觉语音识别（VSR）方面优于所有自主学习方法，并结合仅使用 30 小时标
PDF2 years ago
唇读口型理解：利用跨模态知识蒸馏混合感官进行基于单词模型的唇形理解
本文提出了一种从音频语音识别系统向视觉语音识别器转移技术的方法，其目标是在读唇模型训练过程中利用音频数据。
PDF2 years ago
野外多语言视觉语音识别
本文旨在通过视觉手势识别来实现基于嘴唇运动的语音识别，通过优化模型设计和参数，加入额外任务，并增加数据扩充，提高模型性能，实现在不同语言下超越以前的所有基于公开数据集的模型表现，并比训练基于非公开数据集的模型表现更好。
PDF2 years ago
基于视觉注意力的子词级唇读技术
该研究提出了一种关注视觉嘴唇读取的独特挑战，采用定制的基于注意力和亚词单元的方法，构建视觉嘴唇读取模型和视觉语音检测模型，并在公共数据集上实现了当今最优秀的结果，甚至超过工业声音数据集训练模型大约一个数量级的数据。
PDF3 years ago
CVPR嘴唇不会撒谎：一种通用而健壮的面部伪造检测方法
本文提出了 LipForensics 方法，通过预训练视觉语音识别网络和微调包含真实和伪造数据的嵌入特征的时间网络来实现对新型伪造样本的一致性检测和区分，具有较强的泛化和鲁棒性能。
PDF4 years ago
我们能够从嘴唇以外的地方阅读言语吗？重新思考深度视觉言语识别中的 ROI 选择
本文主要介绍了使用深度学习进行视觉语音识别研究的新进展，并对较为传统的自动唇读方法提出挑战。作者试图证明在读取到口唇之外的区域，如脸颊、全脸等位置的信息，对于提高 VSR 模型性能有明显的好处。同时，介绍了一种基于 Cutout 的简单而有
PDF4 years ago
ASR 是你所需要的：用于唇读的跨模态蒸馏
本研究旨在使用自动语音识别模型进行视觉语音识别的强化学习，通过跨媒体蒸馏方法将 Connectionist Temporal Classification（CTC）与逐帧交叉熵损失相结合，以无标注的视频数据来提高效果和速度，并在 LRS2
PDF5 years ago
AAAI利用 GAN 进行零样本学习的视觉语音识别新类别
本文介绍了一种使用生成对抗网络 (GANs) 生成新类别的零样本学习方法，用于提高视觉语音识别系统的准确性和处理跨语音的词汇。本研究展示出，该模型是语言无关的，因此可以使用英语训练数据生成新语言 (如印地语) 的视频。我们公开了添加了新类别
PDF5 years ago
LRW-1000：野外唇语识别自然分布大规模基准测试
本文介绍了一个自然分布的大型口型识别基准数据库 LRW-1000，该数据库包含来自 2000 多个个体说话者的 718,098 个样本，其中每个类都对应一个普通话单词的音节，同时评估了一些利用该数据集的典型口型识别方法和结果分析。
PDF6 years ago
大规模视觉语音识别
本文提出一个可扩展的开放词汇视觉语音识别方案，通过构建目前最大的视频对话集和一个设计的集成唇读系统，其中包括一个用于映射原始视频到稳定的唇部视频和音素序列的视频处理流水线，一个可扩展的深度神经网络，以将唇部视频映射到音素分布序列，并输出单词
PDF6 years ago
深度唇语识别：模型比较和在线应用
本文旨在发展最先进的口型阅读模型，分别使用 LSTM 递归模型、全卷积模型和最近提出的 Transformer 模型，并通过 BBC-Oxford Lip Reading Sentences 2 (LRS2) 基准数据集的实验表明了本研究的
PDF6 years ago
视觉语音识别的深度单词嵌入
本文提出了一个基于深度学习的框架，用于提取包含与单词识别相关的嘴部信息的单词嵌入。该模型包括由时空卷积层、残差网络和双向 LSTM 组成；经过训练后，其在视觉语音识别中表现出了超越现有技术的优势。同时，实验证明了该模型即使在未被训练到的目标
PDF7 years ago
基于 PCA 网络和 LSTM 的同步 GMM-HMM 系统中的视觉语音识别
本文研究了如何使用图像获得人类言语的信息，使用主成分分析 (PCA) 和深度学习的方法，通过卷积神经网络 (CNN) 和使用长短时记忆 (LSTM) 的循环神经网络 (RNN) 对图像进行分析并提取出空间时间特征，进而在语音识别任务中展现出
PDF7 years ago
哪些音素到视音素映射能最好地提高仅靠视觉进行的计算机唇读准确率？
本文研究探讨当前视觉语音识别系统的一个重要假设，即存在可称为音素单元的视觉语音单元，这些单元可以映射到声学语音单元；通过研究 120 种不同的映射方法，本文提出一种基于自动唇读系统的音素混淆方法，展示了适用于个体患者的新映射方法。
PDF7 years ago
将 Residual Networks 与 LSTMs 组合用于唇语识别
本文提出了一种端到端的深度学习架构用于字级视觉语音识别，该方法结合了时空卷积、残量和双向长短时记忆网络，该网络在 Lipreading In-The-Wild 基准上获得了 83.0 的字级准确率，相较于当前的最先进方法有 6.8 的绝对提
PDF7 years ago
基于 LSTM 的端到端视觉语音识别
本文提出一种基于 LSTM 网络的端到端视觉语音识别系统，同时学习从像素直接提取特征和分类，取得了最先进的视觉语音分类性能。其中包括从口和差异图像中直接提取特征的两个流和通过 Bidirectional LSTM（BLSTM）融合这两个流。
PDF7 years ago
野外口唇阅读句子
本研究目的在于通过观察说话者的口型运动，并结合音频或不结合音频，识别出单词词组和句子。我们提出了一种 “看、听、关注和拼写”（WLAS）网络来学习将口腔运动视频转录为字符的方法，设计了一种课程学习策略来加速训练并减少过拟合，建立了一个视觉语
PDF8 years ago