Jun, 2023

使用自动语音转录对五种母语背景下的 L2 韩语发音错误模式进行比较

PDF
TL;DR本研究通过自动语音识别技术，对具有五种不同语言背景（汉语、越南语、日语、泰语和英语）的 L2 韩语学习者的发音误差模式进行了大规模分析，还使用了一种名为 Wav2Vec2 XLS-R 的发音识别系统进行深入分析，揭示了几种常见的错误模式并确认了其与某些语言背景有关。
l2 korean pronunciationautomatic phonetic transcriptionconfusion matricescommon error patternslanguage background
发现论文，激发创造
  • 利用发音器官学习 L2 音素以提高语音识别鲁棒性

    本文研究自动语音识别领域的核心难题：如何高效地加入第二语音素，并通过关节特征分析对其进行准确建模及应用其在母语语音数据及英语书籍语音数据上。实验表明，该方法不仅为 L2 训练提供了表现改进的有效手段，而且在 L2 和 L1 训练下可以减少算法的性能损失。

    Jun, 2023

  • 一款新型韩语学习应用的设计，用于有效纠正发音

    本研究提出了一个新型韩语学习应用程序的设计，其中包括语音识别、语音到文本和语音到波形三个关键系统，使用 Google API 和 librosa 库将用户的语音转换成句子和 MFCC，同时，如果用户发音不准确，软件将用红色突出显示错误的部分，并利用 Siamese 网络提供一个相似性得分来给予反馈。

    May, 2022

  • 探究自动语音识别系统对 L2 英语语音变异的敏感性

    使用一种探测方法，发现了 ASR 系统处理在 L2 英语方言中的发音差异时，出现了声素级别的错误并产生了更高的 WER。这项工作系统地说明了 ASR 的行为，通过确定特定问题的物质来源来提高 ASR 的准确性。

    May, 2023

  • 使用英语、韩语和泰米尔语构建的语音数据集对失语症智力分类的多语言分析

    本文分析了来自英语、韩语和泰米尔语三种具有不同韵律系统的语言的语音障碍者讲话数据集，检查反映语音质量、发音和韵律三个讲话维度的 39 个声学测量标准，提出在了解说话的可懂水平的平均声学测量值的基础上进行多语种分析，并进行自动可懂性分类以研究最佳功能集。分析表明发音特征是语言无关的测量标准，如音素正确百分比、辅音正确百分比和元音正确百分比，而声音质量和韵律特征通常呈现不同的语言特征。实验结果进一步表明，不同的语音维度在不同的语言中发挥更大的作用：英语的韵律，韩语的发音，泰米尔语的韵律和发音。这篇论文为语音病理学做出了贡献，因为它区分了英语、韩语和泰米尔语的语音障碍者可懂性分类中语言无关和语言相关的测量标准。

    Sep, 2022

  • 基于参数化和非参数化 CNN 的原始波形声学模型的语音误差分析

    在这篇论文中，我们分析了 TIMIT 语音识别任务中原始波形声学模型的错误模式，对传统的音素错误率指标进行了超越。我们将音素分为三组，计算了每个广义音素类别的音素错误率，并构建了每个类别的混淆矩阵，与 Filterbank 和 Wav2vec 2.0 系统的混淆模式进行了比较。我们的原始波形声学模型采用参数化（Sinc2Net）或非参数化 CNNs 和双向 LSTMs，并在 TIMIT 开发 / 测试集上实现了 13.7%/15.2% 的音素错误率，超过了文献中报告的原始波形模型的音素错误率。我们还研究了从 WSJ 进行的迁移学习对音素错误模式和混淆矩阵的影响，将音素错误率降低到了 11.8%/13.7%。

    Jun, 2024

  • BiPhone: 文本中模拟跨语言语音影响力

    使用技术不对称导致很多人被迫在他们文化水平较低的语言环境中使用网络。我们提出了一种挖掘语音音素混淆的方法，然后将这些混淆应用于一个生成模型，从而合成损坏的第二语言文本，在人员评估中得出了合理的损坏结果，该方法还应用于流行的语言理解基准 SuperGLUE，并揭示了现有技术的不足之处。我们还引入了一项新的音素预测预训练任务，使得字节模型的性能接近 SuperGLUE，并 release 了 FunGLUE 基准，以促进更多关于音素鲁棒性语言模型的研究。据我们所知，FunGLUE 是第一个在文本中引入 L1-L2 交互的基准测试。

    Jul, 2023

  • 修剪语音对齐改善从多语言词汇列表中推断音对应模式

    本研究提出了基于生物进化中所采用的修剪技术的音位对齐修剪工作流程来改进语音拟音同源语识别技术，经实验证明这种方法可以大幅度提升同源识别的一致性，增加高频的音位对应规律和通用的同源单词的比例。

    Mar, 2023

  • 基于语音合成网络的外语发音学习

    通过在英语和韩语中训练语音合成网络，本研究分析了网络如何学习不同语言之间的拼音发音关系，并提出了一个基于不同语言信息的训练框架，可以应用于低资源语言。结果表明，该框架可扩展到其他语言，并成功地合成了英语和韩语之间的语音。

    Nov, 2018

  • 自动语音识别（ASR）用于韩国儿童言语音障碍发音诊断

    本研究提出了一种自动语音识别模型，旨在诊断具有言语音韵障碍（SSDs）的儿童的发音问题，以替代临床操作中的人工转录。该模型使用 wav2vec 2.0 XLS-R 模型进行改进，以识别实际发音而不是已有单词，并通过与人工标注相匹配的预测准确性达到约 90% 的水平。尽管该模型在识别不清晰发音方面仍需改进，但本研究表明 ASR 模型能够简化临床领域中的复杂发音错误诊断流程。

    Mar, 2024

  • 朝向标准化韩语语法错误修正：数据集和标注

    本研究收集了 Kor-Lang8、Kor-Native 和 Kor-Learner 三个数据集，并使用新提出的 Korean Automatic Grammatical error Annotation System (KAGAS) 工具进行注释以覆盖更多语言错误类型，同时提供基于数据集调整的基线模型，并在各类错误类型上显著优于公共统计 GEC 系统 (Hanspell)，展示了数据集的多样性和实用性。

    Oct, 2022