本文介绍了一种新方法来提取基于文本的声学提示，并引入文本分布预测来提取矢量z-分数特征（创新），对比不同融合技术的早期和晚期融合模型，并比高准确率的仅文本模型取得了更高精度。

Apr, 2019

介绍了一种使用口腔非语言声音控制的语音输入系统，该系统适用于语音障碍者；设计了数据集，考虑了模型部署和个性化；经过测试，模型实现了较高的精度和召回率，并且在个性化的情况下工作良好。

Feb, 2022

基于深度神经网络和语音识别技术的语音理解模型，可高度精确地模拟听取语音信息的相关属性，不需要干净的语音参考或单词标签。

Mar, 2022

本研究提出了一种基于早期融合和自注意力的多模态交互的新颖多模态体系结构，通过使用文本和声学模态之间的多模态动态融合网络，在个体话语中进行语调检测，结果表明在英语Switchboard上，我们的模型实现了最先进的效果，并且在文献中优于以前的单模态和多模态系统。

Nov, 2022

本文提出了一种基于自监督学习的方法，利用大量未标注语音和文本提示进行预训练，然后再进行有人工评分的微调，以更好地评估语音流畅性/不流畅性。实验结果表明，该方法在Pearson相关系数方面优于基线系统，并且通过消融实验来更好地理解音素和韵律因素在预训练阶段的贡献。

May, 2023

本研究调查了1990年至2023年间Speaker-independent VSR系统的演变，重点分析了数据集及预处理技术的应用，强调了发展端对端管道的必要性，同时指出了当前研究的局限性和未来方向。

Jun, 2023

通过消除触发短语的需要，本研究探索了使用流式音频录制的设备麦克风记录的信号来确定用户是否在与虚拟助手进行交流，通过将语音识别系统的最佳假设和解码器信号与音频编码器的声学表示结合为大型语言模型的输入特征来实现这一目标。使用低秩适应和前缀调整的组合来对80,000个或更少的多模式数据示例进行训练，我们将所提出的系统与单模式基线进行比较，结果表明多模式方法实现了更低的等错误率（EER），同时仅使用了训练数据的一小部分，并且低维度的专门音频表示比高维度的普通音频表示导致更低的错误率（EER）。

Dec, 2023

通过提出一个Speech和Text综合考虑的Error Explainable Benchmark数据集，我们能够更全面地了解ASR模型的不足之处，消除系统的弱点，从而提高用户体验。

Jan, 2024

非语言信号编码通过韵律传达从交流行为到态度和情感的信息。本文提供了一个分析框架和技术概念验证，用于对韵律信号进行分类和与意义相关的关联。该分类过程通过微调预训练的语音识别模型实现，能够同时进行多类别/多标签检测。此外，解释韵律模式可以指导沟通和语音组织理论的发展，且可增强与语音和语言相关的技术的解释能力。

Mar, 2024

虚拟助手的交互通常以预定义的触发短语作为开端，我们探索是否可以放弃用户必须以触发短语开始每个指令的要求。通过三种方式进行实验：首先，只使用从音频波形中获得的声学信息来训练分类器；其次，将自动语音识别（ASR）系统的解码器输出，如1最佳假设，作为大型语言模型（LLM）的输入特征；最后，探索结合声学和词汇特征以及ASR解码器信号的多模态系统。使用多模态信息相对于仅文本和仅音频的模型，在等误差率上可以获得高达39%和61%的改进。增加LLM的规模，并使用低秩适应来进行训练，在我们的数据集上进一步降低了相对误差率高达18%。

Mar, 2024