spoken question answering | BriefGPT

关键词spoken question answering

搜索结果 - 11

PSLM: 并行生成用于低延迟口语对话系统的文本和语音的 LLM
多模式语言模型通过扩展输入和输出序列，支持并行生成文本和语音，从而改善响应生成的延迟，并保持响应内容的质量。在口语问答任务上的实验证明，该方法进一步通过生成多个语音序列来减少延迟。
PDF14 days ago
离散 SLU：自我監督的离散语音单元用于口语理解的大型语言模型
通过将预训练的基于文本的大型语言模型（LLM）与语音输入集成，我们提出使用离散语音单元（DSU）代替连续值语音编码器输出，通过语音适配器将其转换为 LLM 的标记嵌入空间。我们使用自监督语音编码器后跟 k-means 聚类生成 DSU。所提
PDF19 days ago
SpeechDPR: 开放领域口语问答的端到端口语段落检索
提出基于语音密集检索器 (SpeechDPR) 的端到端框架，用于 Open-domain SQA 问题的检索组件，通过从无监督 ASR (UASR) 和文本密集检索器 (TDR) 的级联模型中提取知识来学习句子级语义表示，初步实验表明该方
PDF5 months ago
GSQA：生成式口语问答的端到端模型
近期关于口语问答方面的研究表明，最新的端到端模型在提问回答方面取得了显著的进展，尤其是在提取性问题的选择上。然而，先前的研究主要集中在提取性问题上，这种基于提取的方法在直接提取答案的情况下是有效的，但在涉及抽象问题且答案不可直接提取的情况下
PDF7 months ago
LibriSQA：以新颖的数据集和框架进行自由形式和开放式口语问答的先驱
通过提出一个轻量级、端到端的框架并改进音频识别任务，本研究展示了大规模语言模型（LLMs）在处理多模态功能方面的能力，尤其是对于口语问答任务（SQA）的需求，以及语音和文本特征之间的精确对齐和深入交互。
PDF10 months ago
ACL通过语义重构在口语问答中回答未解决的问题
该研究分析了口头问答中的常见问题，并提出了一种基于语言学方法的 “语义问题改写” 模型，该模型通过修复、句法重塑和泛化等操作，使难以回答的问题变得易于回答，大幅提高了语音助手的准确性。
PDFa year ago
HeySQuAD：一个口语化问答数据集
本研究主要介绍了一个新的基于 HeySQuAD 数据集的 SQA 系统基准测试方法，该方法使用了包含 76k 个人类口述问题和 97k 个机器生成问题的问答数据集，证明了使用转录的口述问题进行训练可以显著提高系统的性能 (12.51%)，具
PDFa year ago
无监督自动语音识别桥接语音和文本预训练模型
该研究提出了一种简单高效的无监督语音到语义预训练模型，使用无监督自动语音识别作为连接器，实现了不同任务的语音语言理解，其中包括最近热门的口语问答任务，并在 NMSQA 基准测试中达到了最新的最优结果。
PDF2 years ago
DUAL：用于无文本口语问答的离散口语单位自适应学习
该文提出了采用离散口语单元自适应学习（DUAL）方法，旨在解决当问答任务涉及到名称实体或生僻单词时，仍然能够从口语文本中获取正确答案的问题，同时发布了适用于更真实场景的新的 SQA 基准语料库 NMSQA。
PDF2 years ago
自监督对比跨模态表示学习用于口语问答
本文提出了基于自监督和对比表示学习的新型语音问答培训方案，采用多元增广策略以及时间对齐注意来更有效地指导生成模型，实现最佳答案预测解决方案，在三个 SQA 基准测试上取得了最新成果。
PDF3 years ago
通过对抗域适应缓解语音识别误差对口语问答的影响
该研究提出利用对抗模型来适应 ASR 错误，减少其对口语问答系统的影响，实验证明其效果优于之前的最佳模型。
PDF5 years ago