May, 2023

听到的就是所看到的：从图像质量度量中获得音频质量指标

PDF
TL;DR本文研究了使用最新的图像感知度量来评估音频信号的可行性，并通过将其表示为声谱图来进行评估。我们发现这种方法鼓励人们挖掘听觉和视觉通路的相似之处，并且还对一些基本度量进行了定制，以解决音频信号的特殊性。使用音乐数据集对自定义定制的度量和几个基线度量进行评估，并与人类评价者对音频质量的感知之间的相关性得出了令人满意的结果。
发现论文，激发创造
  • 音频驱动的真人假头视频的感知质量评估比较研究

    通过进行控制性的心理物理实验，我们验证了模型预测与人工注释之间的一致性，鉴定出相对于广泛使用的度量方法更能与人类意见相符的评估指标，以填补评估研究在视觉质量、嘴唇音频同步和头部移动自然性方面的空白。我们相信我们的工作将促进性能评估和模型开发，为人工智能生成内容在更广泛的背景下提供洞察。

    Mar, 2024

  • 数据被高估：在训练数据缺失时，感知指标可能引导学习

    通过使用感知度量标准进行训练，以改进模型对未知自然信号的泛化能力，我们展示了使用感知损失进行训练优于使用标准欧几里得损失的模型在测试时重构频谱图和重新合成音频的能力。

    Dec, 2023

  • 深度感知度量用于图像质量评估的研究

    本文研究了基于深度神经网络的知觉度量，用于评估图像质量，提出了一种多分辨率知觉量度（MR-Perceptual），在不同分辨率上聚合知觉信息，并在不同图像畸变的 IQ 任务中表现优于标准知觉量度。

    Feb, 2022

  • 识别自我为中心物体交互，音频有多重要？

    本研究提出了一种音频模型，用于主体中心的动作识别，通过轻量化的架构，在视觉基础的标准数据集上取得了有竞争力的动词分类结果（34.26% 准确率）

    Jun, 2019

  • PEAVS：基于观众评分的音频视觉同步感知评估

    最近在音频 - 视觉生成建模方面取得的进展，得益于深度学习和数据丰富的基准的进步。然而，这种增长不仅仅归功于模型和基准，普遍接受的评估指标在推动该领域发展中也起着重要作用。虽然有许多用于单独评估音频和视觉内容的指标，但缺乏提供野外视频音频 - 视觉同步定量解释性测量的指标。为了解决这一问题，我们首先创建了一个大规模人工注释数据集（100 + 小时），代表九种类型音频 - 视觉同步错误及人类对其的感知。然后，我们开发了一种新颖的自动度量 PEAVS（音频 - 视觉同步的感知评估），它具有 5 分制度量，评估音频 - 视觉同步的质量。我们使用一个新生成的数据集对 PEAVS 进行验证，与人工标签相比，在集合级别和片段级别分别达到了 0.79 和 0.54 的 Pearson 相关系数。在我们的实验证明，与基于 Fréchet 的音频 - 视觉同步指标的自然扩展相比，PEAVS 相对增益达到了 50％，从而确认了 PEAVS 在客观建模音频 - 视觉同步的主观感知方面的效果。

    Apr, 2024

  • 机器感知质量：评估严重有损压缩对音频和图像模型的影响

    神经数据压缩中，以机器为导向的压缩方式对于机器感知任务具有可行性，并且与深度相似度度量相关，在机器感知质量的发展中扮演重要角色。

    Jan, 2024

  • 声音之图像：将图像和声音合成于单一画布上

    通过使用预训练的文本到图像和文本到频谱扩散模型，在共享潜在空间中，简单地合成具有视觉外观和声音的自然图像样本。

    May, 2024

  • 用于共识听觉 - 感知评估的音频质量自动参数提取的轻量化加权方法

    通过利用轻量级自动音频参数提取方法，本研究在声音质量评估中取得了与最先进方法相近的性能，且优于利用流行音频预训练模型获得的潜在特征表征，为声音评估的可行性提供了新的洞见，并证明了参数例如抖动和谐波噪声比 (HNR) 适合表征声音质量属性，如粗糙度和张力。与此相反，预训练模型在有效解决与噪音相关的评分方面存在局限性。本研究在探索多样化评估方法的基础上，为更全面、更精确的声音质量评估做出了贡献。

    Nov, 2023

  • 关于音乐源分离的损失函数和评估指标

    本篇研究探讨了音乐源分离中的各种损失函数，旨在确定哪种损失函数提供更好的分离效果。通过对多种音频源分离损失进行调查和实验控制来评估它们，并探索使用这些损失作为评估指标。此外，研究了基于这些损失的替代评估指标，以纠正标准信噪比指标在某些情况下可能误导人的情况。

    Feb, 2022

  • 朝向光照估计的感知评估框架

    通过进行一系列实验，我们发现现有的图像质量评估指标并不能正确地代表人们对光照估计方法的偏好，然而通过综合学习多个指标，我们可以更准确地表示人类的首选项，从而为评估未来的光照估计算法提供了新的感知框架。

    Dec, 2023