ACLJun, 2023

家庭基础数学学习中儿童口语理解能力的检查

PDF
TL;DR本研究旨在通过实现多模式对话系统支持家庭游戏式交互学习，引导孩子掌握基本数学概念，并利用预训练语言表示的多任务架构优势和多个 ASR 系统进行实验，以测试其在真实家庭环境中如何理解儿童的数学学习挑战。
interactive math learningconversational ai technologiesspoken language understandingautomatic speech recognitionmulti-task architecture
发现论文，激发创造
  • 面向基础数学学习的口语对话系统的端到端评估

    本研究采用 Spoken Dialogue System 通过多模式互动为幼儿教育提供基础数学概念的学习，使用 MathBERT 来增强自然语言理解模块，对于自动语音识别（ASR）、意图识别和对话管理器（DM）模块的实际部署输出进行端到端评估，以了解错误传播如何影响实际场景的综合表现。

    Nov, 2022

  • 端到端口语理解：低资源环境下语音命令任务的性能分析

    本文研究了利用深度神经网络的端到端口语理解模型 (E2E SLU) 在非英语智能家居背景下使用的语言特性，证明了优良的 E2E SLU 表现并不总是需要完美的 ASR 能力，并且 E2E 模型相较于传统管道模型在处理背景噪声和语法变异等方面有更出色的性能。该研究还发现，E2E 模型通过音调信息识别语音命令概念。

    Jul, 2022

  • 构建低资源语言口语理解系统

    研究探索低资源语言环境下，使用拼音转录进行意图分类的方法构建基于语音理解系统，并发现相较于使用语音特征的系统，使用拼音转录的系统具有显著的分类性能提升。

    May, 2022

  • UniverSLU：适用于多样化分类和序列生成任务的通用口语理解单网络

    通过利用大型语言模型与多任务能力展示有希望的结果，我们构建了一个名为 UniverSLU 的单一多任务学习模型，它在 12 个语音分类和序列生成任务、17 个数据集和 9 种语言上展现出了竞争性的性能并且超过了特定任务模型。同时，我们还初步探索了使用人类可解释的自然短语代替任务限定词作为离散提示，并测试了该模型对新的释意表达的泛化能力。

    Oct, 2023

  • 无 ASR 语音语言理解的端到端架构

    这篇论文探讨了针对 Fluent Speech Commands 数据集的一系列递归架构，用于意图分类，通过结合深度递归架构和标准数据增强，不使用 ASR 级目标或预训练的 ASR 模型即可实现最先进的结果，并且探讨了其对新措辞的普适性，结果表明，该模型在训练期间未见过的措辞上也能表现得相当不错。

    Oct, 2019

  • 利用 ASR N-best 假设来提高口语理解

    本文介绍了一些简单而有效的模型，以从自动语音识别模块获取的 N（N 为一个任意数）-best 解释中共同挖掘语音信号的语义信息，提高现代口语理解系统的性能。

    Jan, 2020

  • 口语理解中的语义概念抽取现状如何？

    本文述及基于最近三年的神经网络技术，通过直接从语音信号中提取语义，取代传统的分类式自然语言处理方式，以 spoken language understanding 话题研究为主，在利用未标记的数据进行自我监督训练方面取得了新的突破。同时介绍了针对法语 MEDIA 数据集的最新进展，并提出了得到明显改进的成果，概念误差率（CER）从现有最优系统的 13.6% 降至 11.2%。

    Jun, 2021

  • 会话式人工智能的口语理解：近期进展和未来方向

    该论文讨论了使用深度学习技术进行自然语言理解的联合任务，包括意图检测和槽填充，介绍了 Spoken Language Understanding/Natural Language Understanding（SLU/NLU）技术和用于解决该问题的最新自然语言处理和深度学习技术，以及如何提高性能的一些方法。

    Dec, 2022

  • 低资源口语理解元辅助学习

    本论文提出了一种基于元辅助学习的 ASR 和 NLU 联合训练方法，通过利用丰富的语音手动转录数据来提高低资源 SLU 任务的性能，无需访问任何语义注释，该算法的效率在公共 CATSLU 数据集上得到了证明。

    Jun, 2022

  • 基于端到端神经变形器的口语理解

    本论文介绍了一种基于端到端的神经网络转换器，可以在不需要中间层令牌预测架构的情况下，在音频信号中预测嵌入式变长域、意图和插槽向量，可高效提取所述话语所隐含的语义上下文。

    Aug, 2020