Sep, 2023

非言语线索在稳健发音评估中的互补作用

PDF
TL;DR在发音评估系统的研究中，重点使用非母语（L2）语音的语音学和音韵学方面，常常忽略了潜藏在非语言线索中的丰富信息层面。本研究提出了一种新颖的发音评估框架 IntraVerbalPA。该框架创新地结合了细粒度的帧级和抽象的话语级非语言线索，以及传统的语音和音素表示。此外，我们引入了 “音素时长的优劣度” 指标，以在框架中有效模拟时长分布。我们的结果验证了所提出的 IntraVerbalPA 框架及其各个组成部分的有效性，并获得与现有研究成果相匹配或超越的性能。
pronunciation assessment systemsnon-verbal cuesintraverbalpa frameworkfine-grained frameabstract utterance-level
发现论文，激发创造
  • 学前儿童语言发展测试中的伪词发音分类

    本研究旨在通过使用不同方法进行语音分析，包括低级特征、说话者嵌入、音素和 ASR 音频模型，使用 VGG - 类 5 层 CNN 分类器，以便自动评估儿童的语言发展是否年龄适宜，证明如果精细调节音素模型，精度可以获得显著提高，并且 ASR 伴音模型提取的语音特征在此任务中表现最佳。

    Jun, 2022

  • 使用感知同化模型和最先进的声学模型预测非母语言音知觉

    本文通过利用两个先进的语音模型 (Dirichlet process Gaussian mixture model 和 wav2vec 2.0) 的表现来实现一种新的想法，探讨母语对语音感知的影响，以 61 个元音为例，并表明音位同化比精细的语音建模更好地预测区分行为，同时显示 wav2vec 2.0 是较低层次音韵特征的良好模型。

    May, 2022

  • 自动发音评估 - 综述

    发音评估和其在计算机辅助发音训练（CAPT）中的应用近年来取得了令人瞩目的进展。本文回顾了发音评估方法在音位和韵律方面的应用，分类了主要的研究趋势中观察到的挑战，并强调了现有的限制和可用资源。接着讨论了剩余的挑战和未来工作的可能方向。

    Oct, 2023

  • 处理口语处理中的盲点

    本文探讨了非语言线索（包括共语手势和面部表情）在人类交流中的关键但常常被忽视的作用，以及它们对自然语言处理（NLP）的影响。我们提出了发展通用自动手势划分和转录模型以将这些非语言线索转录为文本形式的方法，来加强口语理解的盲点并提升 NLP 模型的适用性。通过激励性例子，我们演示了仅仅依靠基于文本的模型的局限性。我们提出了一种计算高效且灵活的方法，可以与现有的 NLP 流程无缝集成，用于引入非语言线索。最后，我们呼吁研究界为通用转录方法的发展做出贡献，并验证其在捕捉现实中多模态交互的复杂性方面的效果。

    Sep, 2023

  • 一种基于虚拟现实的音视调语知觉检测方法

    本文介绍了一种使用虚拟现实检测音频视觉韵律的方法，并探讨了其在考察人工耳蜗听众韵律感知方面的应用。

    Sep, 2022

  • 自发言语中的非语言信息分析新框架

    非语言信号编码通过韵律传达从交流行为到态度和情感的信息。本文提供了一个分析框架和技术概念验证，用于对韵律信号进行分类和与意义相关的关联。该分类过程通过微调预训练的语音识别模型实现，能够同时进行多类别 / 多标签检测。此外，解释韵律模式可以指导沟通和语音组织理论的发展，且可增强与语音和语言相关的技术的解释能力。

    Mar, 2024

  • 非母语口语词语处理的音韵模型

    研究发现，非母语人士在处理口语时存在困难，导致其在词汇记忆的语音编码上不够准确，本研究使用计算模型模拟语音学习，发现有些非母语人士的口音知觉可能是导致这种困难的原因之一。

    Jan, 2021

  • 量化语音中词汇和非词汇通道的感知价值

    通过量化非词汇信息对对话期望的感知价值，本文展示非词汇信息在对未来对话的期望中产生一致影响，即使在与仅有词汇内容相比出现较差的鉴别性判断时，它也在参与者之间产生更高的共识。

    Jul, 2023

  • 声学特征融合用于平衡多方面发音评估

    本文提出了两种声学特征混合策略，线性和非线性插值与批次平均特征相结合，以解决非母语学习者语音数据稀缺和得分标签不平衡的问题。通过将发音准确性作为声学特征，我们改进了设计以适应发音评估，同时结合细粒度的错误率特征，通过将语音识别结果与原始答案音素进行比较，直接提供发音错误的提示。声学特征的有效混合显著提高了 speechocean762 数据集上的整体评分性能，详细分析突显了我们预测未见扭曲的潜力。

    Jun, 2024

  • MultiPA: 一个用于封闭和开放响应场景的多任务语音发音评估系统

    本研究提出了一种名为 MultiPA 的多任务发音评估模型，它相较于基于 Kaldi 的系统有更简单的格式要求以及与其他神经网络模型更好的兼容性，其实验结果表明在闭合反馈场景下 MultiPA 能够达到可比较的性能，同时在直接用于开放式反馈时保持更加稳健的表现。

    Aug, 2023