通过感知的声音特质实现说话人身份的可解释表示

Oct, 2023

通过感知的声音特质实现说话人身份的可解释表示

Towards an Interpretable Representation of Speaker Identity via Perceptual Voice Qualities

Robin Netzorg, Bohan Yu, Andrea Guzman, Peter Wu, Luna McNulty...

TL;DR通过添加性别感知语音特征到 Consensus Auditory-Perceptual Evaluation of Voice（声音感知评估协议）中，基于感知声音特征的方法提供了一种成人声音性格的感知潜在空间，作为高层次人口统计学信息和低层次声学、物理或学习表示之间的中间抽象。与先前的观点相反，我们证明这些感知声音特征可以被非专家集体听到，并且进一步证明了以感知声音特征为基础的表示中所编码的信息可以通过多种语音表示进行预测。

Abstract

Unlike other data modalities such as text and vision, speech does not lend itself to easy interpretation. While lay people can understand how to describe an image or sentence via perception, non-expert descriptions of s

speech speaker identity perceptual voice qualities latent space consensus auditory-perceptual evaluation of voice

发现论文，激发创造

自监督模型与人类中的演讲者身份编码评估

自我监督表示与声音识别中的说话人身份有关，并能更好地理解强大网络中不同层次的声学信息表示，通过评估声学、语音、韵律和语言变体之间的说话人识别准确性，对比模型和人类的编码空间相似性，旨在挑战距离度量作为说话人接近程度的代理，并展示某些模型能够预测自然刺激下听觉和语言区域的脑部反应。

Jun, 2024

用于共识听觉 - 感知评估的音频质量自动参数提取的轻量化加权方法

通过利用轻量级自动音频参数提取方法，本研究在声音质量评估中取得了与最先进方法相近的性能，且优于利用流行音频预训练模型获得的潜在特征表征，为声音评估的可行性提供了新的洞见，并证明了参数例如抖动和谐波噪声比 (HNR) 适合表征声音质量属性，如粗糙度和张力。与此相反，预训练模型在有效解决与噪音相关的评分方面存在局限性。本研究在探索多样化评估方法的基础上，为更全面、更精确的声音质量评估做出了贡献。

Nov, 2023

可解释的基于属性的说话人验证

该研究提出了一种完全可解释的说话者验证方法，通过从语音记录中自动提取的个人属性（如性别、国籍和年龄）进行比较，以识别说话者。该方法更贴近人类推理，比传统方法更易理解。在 Voxceleb1 测试集上评估，系统的最佳性能与使用所有正确属性时建立的真实性相当，证明了其有效性。尽管与不可解释的方法相比，我们的方法在一些性能上做出了一定的牺牲，但我们相信它使我们更接近透明、可解释的人工智能的目标，并为未来的属性扩展奠定了基础。

May, 2024

学习不变的语音表征

本论文探讨了如何利用无监督的声学特征来增强语音识别，其中，通过学习始终对某些变换和变形不变的音频信号表示，实现了对短小的语音样本的有效处理，从而极大地提升了元音分类的准确性并降低了样本复杂性。

Jun, 2014

探索视频感知表征在盲视频质量评估中的有效性

通过提取 HVS 的视频感知表示，并通过测量其在感知领域中的表示方式的直线程度和紧凑性来量化视频的自然度和内容连续性，我们提出了一种评估视频临时失真的 TPQI 指标，并证明它对任何数据集都有可申请性，即使在评估具有大的时间变化的视频时也有适用性，TPQI 可以实现与空间质量度量相当的性能甚至更加有效的评估。

Jul, 2022

听到的就是所看到的：从图像质量度量中获得音频质量指标

本文研究了使用最新的图像感知度量来评估音频信号的可行性，并通过将其表示为声谱图来进行评估。我们发现这种方法鼓励人们挖掘听觉和视觉通路的相似之处，并且还对一些基本度量进行了定制，以解决音频信号的特殊性。使用音乐数据集对自定义定制的度量和几个基线度量进行评估，并与人类评价者对音频质量的感知之间的相关性得出了令人满意的结果。

May, 2023

跨模态感知者：能否从声音中获取面部几何信息？

该论文研究了声音是否可以描绘出人脸的几何形状，提出了一种跨模态感知的分析框架，包括有监督和无监督学习，并构建了一个包含配对声音和面部网格的数据集，最终通过视觉和数字分析探究了这一核心问题。

Mar, 2022

关于从视听信号中观察出的受试者偏见对表层人格分析的影响

本文研究了各种影响人格认知的可能偏见源，包括面部表情情绪、吸引力、年龄、性别和种族，以及它们对表观人格估计的影响。使用多模态深度神经网络，综合音频和视觉信息，以及特定属性模型的预测来回归表观人格，并在 ChaLearn First Impressions 数据集上展示了最新的结果。此外，还提供了一种可解释性的网络设计，对每种可能的偏见源对最终网络预测的影响进行了增量分析。

Sep, 2019

评估和个性化用户感知的用于传递不同物理体现的正念冥想的文本转语音音色质量

基于人工合成的文本转语音技术 (TTS) 的用户个性化能显著改善用户心理健康感知质量，为正念实践提供实时个性化内容生成。

Jan, 2024

声音用户体验的定性方法

现代基于计算机系统提供了一种自然的表达模式，本文通过系统综述和定性综合，对声音用户体验的定性方法进行了研究，强调了定性方法在声音用户体验研究中的好处，并提出了增加方法和结果的严谨性的机会，以及从各种设备和质性实践模式中的体验模式。

Apr, 2024