speech separation | BriefGPT

关键词speech separation

搜索结果 - 58

基于音频编解码的语音分离
通过在 NAC 的嵌入空间中进行音频编码器（Codec）的语音分离（SS）任务，我们提出了一种新的模型 Codecformer，在推断过程中实现了 52 倍的 MAC 降低，并且产生了与 Sepformer 云部署相当的分离性能，为在实际场
PDF14 days ago
AV-CrossNet: 一种用于语音分离的音视频复杂频谱映射网络，利用窄频和交叉频带建模
添加视觉线索到基于音频的语音分离可以提高分离性能。本文介绍了一种名为 AV-CrossNet 的音视系统，用于语音增强、目标说话人提取和多说话人分离。AV-CrossNet 扩展自 CrossNet 架构，它是一种最近提出的网络，通过利用全
PDF15 days ago
SPMamba：语音分离中你所需的全部是状态空间模型
本文以状态空间模型为基础，提出了一种用于语音分离的网络架构，即 SPMamba。通过将 TF-GridNet 模型的 Transformer 组件替换为双向 Mamba 模块，旨在捕捉更广泛的上下文信息。实验结果表明，基于 Mamba 的模
PDF3 months ago
会议在线发言人分化的语音分离指导
我们介绍了一种新的基于语音分离引导的在线发言人分化方案，适用于持续变动的说话人数量的长时间会议录音。
PDF5 months ago
关于嘈杂多信道语音分离中的时域 Conformer 模型
语音分离对于多说话者技术研究人员来说仍然是一个重要的课题。卷积增强变换器（conformers）在许多语音处理任务中表现良好，但在语音分离方面研究较少。最近的最新分离模型一直是时域音频分离网络（TasNets）。一些成功的模型利用了双路径（
PDF9 months ago
支持会议识别的连续语音分离的混合编码器
此研究通过引入混合编码器，将重叠的语音分离为无重叠的流，从而处理多说话人和动态重叠的自然会议环境中的自动语音识别，实验结果表明混合编码器具有最先进的性能并强调了 TF-GridNet 的强大分离能力。
PDF10 months ago
TokenSplit: 使用离散语音表征进行直接、精确和转录条件下的语音分离与识别
我们提出了 TokenSplit，一种在离散标记序列上操作的语音分离模型。该模型通过输入掩码实现多任务训练，包括将每个语音源进行分离和转录，并从文本生成语音。我们还介绍了模型的 “修正” 版本，该版本通过传统分离模型分离的音频标记预测增强音
PDF10 months ago
使用 BGRU 和 GMM 改进深度吸引网络用于语音分离
提出了一种使用双向门控神经网络（BGRU）来简化和增强深度吸引子网络（DANet）模型的方法，使用高斯混合模型（GMM）作为聚类算法，以降低复杂度并提高学习速度和准确性。对 TIMIT 语料库中的混合语音数据集进行了实验评估，该模型在 SD
PDFa year ago
单声道多说话人语音分离使用高效 Transformer 模型
鸡尾酒会问题是指从多个说话者的混合语音中分离或区分单个说话者变得困难的情境。本研究采用基于 Transformer 架构及其高效形式的语音分离模型，在 LibriMix 数据集上进行训练，该数据集包含多样的说话者语音。该模型能从混合音频输入
PDFa year ago
音频视觉端到端多通道语音分离、去混响和识别
通过全面将视频信息融入系统的所有组件，我们提出了一种音频 - 视觉多通道语音分离、去混响和识别方法，有效地解决了包含重叠发言者、噪声和混响的鸡尾酒会言语的准确识别问题。
PDFa year ago
增强神经波束形成器结合空间信息用于目标语音提取
本文提出了一种利用空间信息增强神经波束形成器性能的目标语音提取网络，该网络采用 UNet-TCN 结构模拟输入特征，并通过引入多头交叉注意力机制来利用阵列接收到的空间信息，实现了更合理的目标掩蔽估计网络和基于空间信息的交叉注意力机制，有效提
PDFa year ago
混合编码器用于语音分离和识别
该论文提出了一种基于中间地带的方法来处理多说话者语音识别，该方法既利用了情感识别模块类似于模块化方法的显式语音分离技术，又将混合语音信息直接纳入 ASR 模块，以减轻语音分离器所产生的错误传播，并且通过结合个体说话者信息的层来交换跨说话者的
PDFa year ago
一种基于递归融合扩张卷积和信道注意力的高效语音分离网络
本文介绍了一种高效的语音分离神经网络，采用了扩张卷积、多尺度融合和通道注意力等多种方法，可以克服卷积网络的有限感受野和变换器网络的高计算成本问题，实现局部和全局特征的学习，并通过通道的注意力权重学习关键的特征来提高网络的表达能力和鲁棒性，实
PDFa year ago
轻量级迭代模型在嘈杂环境下的音像语音分离
本文提出了一种名为 AVLIT 的轻量级神经网络，使用渐进学习（PL）在嘈杂的环境中进行音视频语音分离。通过异步完全循环卷积神经网络（A-FRCNN）的结构分支，我们的模型在音频和视觉两个分支下进行迭代学习，并在音频和视觉分离方面表现出较高
PDFa year ago
一种基于神经状态空间模型的高效语音分离方法
提出了一种基于神经状态空间模型的高效音频分离框架 S4M，该模型可以将输入信号建模为线性常微分方程的形式，并在多尺度表示学习中学习全局一致的分离和重构，其模型复杂度显著低于 Attention-based Sepformer。
PDFa year ago
基于对比学习和深度模块化的语音分离
研究使用对比学习建立框架的表示，并使用学到的表示在下游深度模块化任务中，自监督学习以最小化属于给定说话者的框架之间的距离，以进行语音分离。通过 WSJ0-2mix 和 WSJ0-3mix 的评估，该技术的性能不会随着说话者数量的增加而显着降
PDFa year ago
神经网络语音分离模型训练中的数据采样策略
本文研究了在语音分离模型中应用不同的训练信号长度的影响，发现特定分布情况下应用特定的训练信号长度会提高模型性能，同时使用动态混合和最佳信号长度训练的模型被证明具有最佳性能。
PDFa year ago
ICLR短期记忆卷积
本文提出了一种名为 Short-Term Memory Convolution（STMC）的卷积神经网络方法，用于音频领域中的实时处理，该方法能够以低延迟比 LSTM 网络更稳定快速地进行训练和推理，实现了语音分离和声场分类的更快速度和更高
PDFa year ago
使用预训练的 Diffusion 模型改善源分离
本文研究了语音分离问题，通过将分离模型和扩散模型的输出线性相结合，并利用学习到的权重来实现在多说话人的同时达到前所未有的语音分离效果，从而推翻了先前成立的基于人类语音确定性模型的上界限制。
PDFa year ago
混响作为语音分离监督
本文提出了一种新的无监督算法损失函数，称为混响作为监督（RAS），使用两个信道的混合信号，训练神经网络以分离源，并通过维纳滤波器来评估所分离出的混响信号。实验结果表明，相对于只使用已标注数据和使用完整数据的有监督算法，本方法在只有 5% 到
PDF2 years ago