Nov, 2023

计算机视觉中的唇部分割技术探索：一项比较分析

PDF
TL;DR对当前最先进的嘴唇分割模型进行全面评估，比较它们在性能和推理时间上的表现，为未来嘴唇分割的轻量级技术发展和基准建立做出贡献。
lip segmentationcomputer visionstate-of-the-art modelsperformance evaluationinference time
发现论文，激发创造
  • 深度唇语识别：模型比较和在线应用

    本文旨在发展最先进的口型阅读模型，分别使用 LSTM 递归模型、全卷积模型和最近提出的 Transformer 模型，并通过 BBC-Oxford Lip Reading Sentences 2 (LRS2) 基准数据集的实验表明了本研究的最佳成果。

    Jun, 2018

  • 端到端的多视角唇读

    本研究提出使用双向长短时记忆（BLSTM）网络的多视角口型识别系统，在直接从不同口型图像姿势中提取特征的基础上，同时学习多视角的视觉特征和语音分类。通过在 OuluVS2 数据库上进行测试，最佳三种视角模型较现有多视图最新性能提高 10.5％，最大分类精度为 96.9％。

    Sep, 2017

  • LipNet：端对端的句子级唇读

    LipNet 是一个全新的、端到端的实时语音转文字模型，它能够将连续的视频帧序列准确地映射成文本，并能够同时学习时空视觉特征和序列模型，它在句子级别的听力阅读任务上表现出色，实现了 95.2％的精度，优于先前研究的单词级准确度。

    Nov, 2016

  • 评估用于耳部掩膜分割的新型 Mask-RCNN 架构

    本文研究使用基于耳朵的生物识别技术，探讨耳朵检测和分割的关键算法，训练和比较三种新模型与现有的 MaskRCNN 模型，并根据四个数据集的平均精度得分 (AP) 表明，新模型表现更好，但是单一模型无法最佳地适应多个数据集。

    Nov, 2022

  • Look into Person: 自监督的结构感知学习和人体解析新基准

    本篇文章介绍了一个名为 “Look into Person (LIP)” 的新的数据集，该数据集包含 50,000 多张具有 19 个语义部件标签的图像，是一个可扩展性、多样性和难度方面的重大进展，并且使用自监督学习方法解决了人体解析的问题。

    Mar, 2017

  • 通过联合身体分析和姿态估计网络探寻人物：一个新的基准测试

    本文提出了一个名为 “Look into Person (LIP)” 的新数据集，其包含超过 50,000 张精细注释的图像，利用这些注释，作者进行了人体解析、姿势估计方法的详细分析，并提出了一种新的联合人体解析和姿势估计网络以及简化网络以解决人体解析的方法。

    Apr, 2018

  • 借助视界构建更好的视觉语言表达和唇读能力

    我们提出了一个新的方法，利用音素相似的嘴唇形状群体（发音单位）来提取更具辨别能力和鲁棒性的视频特征，从而改善了视频特征有限所导致的现有嘴唇识别系统低准确度的问题。实验证明，我们的方法在字级和句级嘴唇识别，以及使用 Arman-AV 数据集进行音频视觉语音识别等各项任务中，始终优于最先进的方法。相对最佳先前方法，该方法将嘴唇识别的单词错误率（WER）降低了 9.1%。

    Jul, 2023

  • 使用长短时记忆网络进行唇读

    本文介绍了利用神经网络从仅有的视觉信息（面部）中识别言语并实现唇读的方法，通过使用前馈和循环神经网络层（即 LSTM）堆叠成单一结构，并对其进行训练，成功地实现了比传统方法更高的识别准确性。

    Jan, 2016

  • 重新审视面部关键点检测：使用深度神经网络的高效方法

    本研究旨在评估迁移学习模型，包括 MobileNetV2 和 NasNetMobile，以及自定义 CNN 体系结构，在模型大小、参数和推理时间方面开发高效的深度学习模型，并研究数据增强和微调对这些模型的影响。MobileNetV2 体系结构产生了最低的 RMSE 和推理时间，而以人工优化的 CNN 体系结构与 Auto Keras 调整的体系结构表现类似。

    May, 2022

  • LipFormer: 基于视觉地标变换器学习从未见过说话者的唇读

    该论文介绍了一种新的语音识别方法：LipFormer，它使用了视觉和标记反映的多模态特征，使得它能够对不同的嘴唇颜色和形状产生的可见变化具有鲁棒性，并且在未知的发言人上表现出出色的泛化性能。

    Feb, 2023