基于语言识别的唇部生物特征视觉系统改进

Feb, 2023

基于语言识别的唇部生物特征视觉系统改进

Language identification as improvement for lip-based biometric visual systems

Lucia Cascone, Michele Nappi, Fabio Narducci

TL;DR该研究是一项关于利用语言信息作为软生物特征，增强基于唇部运动的视觉辅助识别系统性能的初步研究，特别是通过积分打分策略来达到显著的提高。实验使用了包括 8 种不同语言的 laBial Articulation for the proBlem of the spokEn Language rEcognition (BABELE) 数据集，评估了深度学习和机器学习方法。

Abstract

Language has always been one of humanity's defining characteristics. Visual Language Identification (VLI) is a relatively new field of research that is complex and largely understudied. In this paper, we present a preliminary study in which we use linguistic information as a soft biometric tr

visual language identification soft biometric trait lip movement score-based fusion strategy deep learning

发现论文，激发创造

使用 ConvNets 进行口语语言识别

该研究论文研究了语言识别的问题，使用了基于注意力机制和神经网络的方法，使用频谱图像作为输入以及原始波形作为特征，对六种语言进行了分类，获得了高精度的结果。

Oct, 2019

BERT-LID: 利用 BERT 提升口语语言识别

我们提出了一种基于 BERT 的语言识别系统，通过提取从前端语音识别器导出的语音学后向图（PPG）作为输入，可以提高较短语音段的语言识别表现，该模型可以提高长语音段识别的基准准确率约 6.5％，提高短语音段识别的基准准确率约 19.9％，表明 BERT-LID 在语言识别方面是有效的。

Mar, 2022

借助视界构建更好的视觉语言表达和唇读能力

我们提出了一个新的方法，利用音素相似的嘴唇形状群体（发音单位）来提取更具辨别能力和鲁棒性的视频特征，从而改善了视频特征有限所导致的现有嘴唇识别系统低准确度的问题。实验证明，我们的方法在字级和句级嘴唇识别，以及使用 Arman-AV 数据集进行音频视觉语音识别等各项任务中，始终优于最先进的方法。相对最佳先前方法，该方法将嘴唇识别的单词错误率（WER）降低了 9.1%。

Jul, 2023

西班牙语连续唇读的视觉特征分析

我们提出了一种分析不同语音视觉特征的方法，以确定哪种方法最适合捕捉西班牙语口唇运动的特性，并通过这种方式来处理自动视觉语音识别任务。在使用传统的基于隐马尔可夫模型和高斯混合模型的系统进行评估时，结果表明，在受限条件下，使用特征脸和深度特征的组合是最佳的视觉方法。

Nov, 2023

基于一次性唇部生物特征认证：利用认证短语信息扩展行为特征

基于唇部生物特征身份验证（LBBA）是一种基于通过相机传感器捕获的视频数据中人的唇部运动的身份验证方法。该方法利用唇部运动的物理和行为特征，不需要额外的传感设备，仅需一个 RGB 相机。本论文提出了一种将行为特征与发音内容相关联的一次性方法，通过自定义 GRID 数据集获取所需的三元组，并基于 3D 卷积和递归神经网络层训练匹配网络。测试结果表明，基于开放性协议的 LBBA 在定制的 GRID 数据集上的误识别率为 3.2%，漏识率为 3.8%。还对结果进行了进一步分析，量化了行为特征和物理特征对 LBBA 的影响和区分能力。

Aug, 2023

文本语言识别

利用微博和深度学习技术，研发了一种可靠的语言识别引擎，在 Discriminating between Similar Languages (DSL) Shared Task 2015 数据集上达到了 95.12% 的准确率。

Jan, 2017

语言识别的开放数据集和模型

该研究提出了一种基于单语数据训练的语言识别模型，其在 201 种语言上的宏平均 F1 得分为 0.93，而误报率为 0.033，将先前工作的表现远远超过。我们对数据集进行了精心筛选，通过手动审核每个来源和每种语言的样本来确保其可靠性。模型和数据集都向研究界公开，并详细分析了模型的性能。

May, 2023

文本中的自动语言识别：一项调查

文章介绍了语言识别的概念及其历史，对现有的特征和方法进行了调查和评估，讨论了评估方法、应用和开放问题，并提出了未来的研究方向。

Apr, 2018

基于机器学习的印度口语识别概述

本文综合评述了印度口语识别领域的研究现状及其面临的独特挑战，探讨了可用的语音语料库、已有的研究成果和未来的研究方向，有助于了解该领域现状和发展趋势。

Nov, 2022

口语语种识别的多模态建模

使用多模态元数据进行语种识别，证明视频标题、描述和地理位置等元数据对语种识别的贡献，并在两个不同的 YouTube 视频数据集上获得了最先进的语种识别结果，并进行了基于模态的贡献度分析。

Sep, 2023