speech understanding | BriefGPT

关键词speech understanding

搜索结果 - 10

AudioBench：一个音频大语言模型通用基准测试
通过提供相关数据集和评估指标，我们引入了 AudioBench，这是一个旨在评估语音大型语言模型（AudioLLMs）的新基准。我们在研究中评估了四个模型的能力，并发现没有单一模型在所有任务中都表现出色。我们概述了 AudioLLMs 的研
PDF11 days ago
ICML视频 SALMONN：增强语音的视听大型语言模型
论文通过提出一种视频 - SALMONN 模型，利用音频 - 视觉大型语言模型（av-LLMs）实现视频处理，包括理解视觉帧序列、音频事件、音乐以及语音，并展示了超越其他 av-LLMs 的视频理解和推理能力。
PDF12 days ago
基于大型语言模型的对话响应与语音合成的联合建模研究
本文研究构建一种 “思考如何回应” 和 “思考如何讲话” 的人工智能口语对话系统，相比当前独立的聊天机器人和文本到语音（TTS）模块的级联流水线，更贴近人类语音生成过程。研究使用拥有数十亿参数的大型语言模型（LLMs），展示其在语音理解能力
PDF9 months ago
遵循指示语音识别
通过指令跟随训练，我们的研究发现自由文本指令的语音识别能力可以通过 Listen-Attend-Spell 模型来实现，利用这种方法可以进行各种语音识别任务，提供了对先前的 LLMs 模型更高的隐私性和安全性。
PDF10 months ago
语音表征的语义丰富化
本研究旨在通过对 SAMU-XLSR 模型进行领域特定语义丰富的专业化，探索这种模型在低资源语言移植中的使用效益，并研究该模型的跨领域能力，以更好地实现复杂口语理解任务中的语义提取。
PDFa year ago
AudioPaLM：一种可以说话和听取的大型语言模型
AudioPaLM 结合了 PaLM-2 和 AudioLM 两种语言模型，实现了对文本和语音的处理和生成，在语音识别和语音翻译等应用中具有优异性能，并且具有零 - shot 语音到文字翻译的能力。
PDFa year ago
WAVPROMPT: 冻结语言模型进行少样本口语理解
介绍了一种名为 WavPrompt 的语音理解框架，该框架使用预先训练的自回归语言模型，通过微调一种 wav2vec 模型生成一系列音频嵌入来实现在音频文本场景下的 few-shot 学习能力。实验表明，WavPrompt 在执行语音理解任
PDF2 years ago
低延迟无 ASR 端到端口语理解系统
本文提出了一种语音理解系统，可以将一个波形分类为结构化数据 (如意图和槽) 而不需要先将其转录为文本，同时系统具有足够小的占用空间可以运行在微型控制器和嵌入式系统上，并且具有最小延迟以逐段处理输入音频数据，并得到了优秀的性能表现 (比其他类
PDF4 years ago
CVPR理解视觉语音信号
本文探讨视觉语音信道对于机器口形识别、提高口形识别及其他领域，如语音治疗、动画制作、心理学的应用，特别研究讲话人个体差异的影响并演示了如何利用口形来提高口形识别的能力。
PDF7 years ago
基于注意力机制的循环神经网络模型：联合意图检测与槽位填充
提出了一种基于注意力机制的神经网络模型，用于同时执行关键步骤（意图检测、填充构構）进行语音理解和对话系统处理。该模型基于编码 - 解码框架，将对齐信息的注意力融合到了模型中，其表现优于传统模型。
PDF8 years ago