spectrograms | BriefGPT - AI 论文速递

关键词spectrograms

搜索结果 - 32

声音之图像：将图像和声音合成于单一画布上
通过使用预训练的文本到图像和文本到频谱扩散模型，在共享潜在空间中，简单地合成具有视觉外观和声音的自然图像样本。
PDFa month ago
MFHCA：通过多空间融合和分层合作注意力增强语音情感识别
使用多空间融合和分层协同注意力的 MFHCA 新方法用于语音情感识别，通过识别情感相关光谱图区域和整合高级声学信息，从不同听觉层面合并特征，实验表明该方法有效。
PDF2 months ago
基于电网频率使用多分类器融合框架的电网分类的频谱图分析
通过从不同电网的音频和电能记录生成频谱图，利用特征明显的电网频率（ENF）模式辅助电网分类，本文提出了一种新的电网分类方法。该方法采用四种传统机器学习分类器和一个经由神经网络结构搜索优化的卷积神经网络（CNN）进行逐一分类，然后将这些分类结
PDF3 months ago
使用 ECG 频谱图和深度学习进行人格特征识别
该研究采用深度学习方法应用于心电图信号，以创新的方式识别个性特征，通过检测包括外向性、神经质、宜人性、责任心和开放性的五大人格特质模型，探索了心电图衍生的频谱图作为信息特征的潜力，并采用 Resnet-18 和视觉转换器 (ViT) 进行特
PDF5 months ago
面向声学生物多样性监测的小型精确卷积神经网络
通过使用时间索引标签及适当大小的 RF，我们设计出了适用于紧凑低成本设备的小型 CNN 模型，实现了较好的分类性能。
PDF7 months ago
Spectro-ViT：使用频谱图的 GABA 编辑 MRS 重建的视觉 Transformer 模型
使用 Vision Transformer (ViT) 通过光谱图像重建 / 去噪 GABA 编辑的磁共振波谱 (MRS) 的方法，可以从一个常规获取到的四分之一数量的瞬态数据中获取准确的波谱信息，并且在实验中表现出优于其他模型的性能。
PDF7 months ago
通过基于短时傅里叶变换机器学习在 Nvidia Edge GPU 设备上实施的声音和音频分类来检测儿童虐待
通过机器学习应用于儿童保育机构，本研究的目的是检测儿童虐待场景，以提高儿童的安全性，通过对儿童的声音进行分类和识别，预测儿童当前发出的声音是哭泣、尖叫还是笑声，并实时向相关人员发送警报，通过同时使用视频图像分类的混合方式，可以显著提高儿童虐
PDFa year ago
具有语音能力的语言模型：突破语音标记的口语语言建模
SPECTRON 是一种新的方法，用于适应预训练的语言模型来执行语音延续，它利用预训练的语音编码器，在谱图上生成文本和语音输出，并通过端到端的方式进行训练。
PDFa year ago
听到的就是所看到的：从图像质量度量中获得音频质量指标
本文研究了使用最新的图像感知度量来评估音频信号的可行性，并通过将其表示为声谱图来进行评估。我们发现这种方法鼓励人们挖掘听觉和视觉通路的相似之处，并且还对一些基本度量进行了定制，以解决音频信号的特殊性。使用音乐数据集对自定义定制的度量和几个基
PDFa year ago
COVID-19 检测深度模型可解释性分析
本研究使用卷积神经网络检测 COVID-19，使用谱图和 F0 等特征解释神经网络判定过程，生成热图来捕捉模型决策过程，结果显示谱图相关能量高的区域对决策过程起主导作用，同时 F0 也有帮助。研究表明，即使在训练集中存在虚假数据的情况下，所
PDF2 years ago
DiffRoll：基于扩散的生成式音乐转录技术及无监督预训练能力
提出了一种新的生成方法，DiffRoll，来处理自动音乐转录问题。它将 AMT 视为有条件的生成任务，从其理论上训练模型来从纯高斯噪声中生成逼真的钢琴卷，因此 DiffRoll 不需要分类器，可在仅提供钢琴卷的不配对数据集上训练。实验证明，
PDF2 years ago
具有感知驱动优化和双重转换的语音增强
本文提出了一种基于子带的语音增强系统，名为 PT-FSE，该系统通过对子带频谱图的操作来增强语音，其中包括全频带和子频带的融合模型、频率变换模块、时间变换和人类听觉感知的损失函数，实验结果表明，该系统达到了显著的改进，并且在基准数据集上优于
PDF2 years ago
HarmoF0：基于对数尺度膨胀卷积的音高估计
该研究提出了一种多速率膨胀因果卷积（MRDC-Conv）方法，通过对数尺度频谱图高效捕捉谐波结构，从而帮助提升音高估计的性能和准确度，并与其他膨胀卷积方法进行了比较，结果表明该模型在三个数据集中表现出色，能够有效降低大约 90% 的参数，同
PDF2 years ago
使用 CNN 的声景分类方法比较研究
本文研究了使用神经网络进行环境声音分类的三种不同类型的表示：谱图、MFCC 和嵌入式表示，并使用不同的 CNN 网络和自编码器来评估它们在分类准确度上的效果。我们发现使用谱图的分类准确度最高，而使用 MFCC 的准确度最低，同时提出了一些指
PDF2 years ago
音频 Transformer 的 Patchout 高效训练
本文提出一种优化和正则化变压器模型的新方法，使其在音频光谱图上实现了新的最优性能，同时提出了一种在性能和训练速度上均优于 CNN 的变压器模型。
PDF3 years ago
具有移动音频流网络的高效低延迟语音增强
提出了适用于移动设备和计算能力受限应用的移动音频流网络 (MASnet)，用于有效的低延迟语音增强。MASnet 将连续的嘈杂帧转换为复值比率掩码，然后将其应用于相应的嘈杂帧。与类似的全卷积架构相比，MASnet 采用了深度和点卷积，大大减
PDF4 years ago
重新思考用于音频分类的 CNN 模型
本研究表明 ImageNet 预训练的标准深度 CNN 模型可以作为强大的音频分类基线网络，研究了使用预训练的权重来学习频谱图的有效性和如何构建更强大的集成模型以提高准确性。
PDF4 years ago
ESResNet：基于视觉领域模型的环境声音分类
本文提出了一种基于 STFT 频谱图与图像领域多个网络模型相结合的模型并针对标准数据集进行了评估，在 Environmental Sound Classification 领域中取得了目前最高的分类精度。同时对该领域已有的研究方法进行了全面
PDF4 years ago
Deep Autotuner: 用于歌唱表演的音高校准网络
本论文介绍了一种基于数据驱动的自动音高校正方法，该方法利用歌唱声音和伴奏音频相应的频谱图之间的关系来预测音符级别的音高变化。该方法通过神经网络模型进行训练，包括卷积层和门控循环单元，可适用于自由即兴和协调音乐演唱。
PDF4 years ago
ICCV基于视觉技术的深度音频修复
本文提出了一种名为视觉信息注入音频修补的多模态感知任务，通过学习视觉 - 音频联合特征空间，并在语音谱图上进行操作，能够修补音频中的缺失部分，实现音频与视频同步，经过大规模实验验证该方法的有效性。
PDF5 years ago