AAAIJan, 2023

AudioEar：针对个性化空间音频的单视图耳重建

PDF
TL;DR本研究提出了通过单视图图像重建 3D 人类耳形来实现个性化空间音频渲染的方法，并开发了 AudioEar3D 和 AudioEar2D 两个公开数据集，最后通过将重建后的耳形与现成的 3D 人体模型集成，来模拟人的听觉传递函数，从而实现了基于不同人体解剖结构的个性化空间音频渲染。
spatial audiopersonalization3d human earsdatasethrtf
发现论文，激发创造
  • 身体声响：利用身体姿势和音频进行人体 3D 空间声音建模

    通过从头戴式麦克风获取的音频信号和身体姿势作为输入，生成围绕发射者身体的三维声场，从而可以在三维空间的任意位置呈现空间音频。

    Nov, 2023

  • 单张图片生成 3D 面部肖像

    本文提供一种基于学习的方法来从单个肖像图像中恢复人头的 3D 几何形状，并且使用参数化 3D 人脸模型来表示头部几何形状以及其他头部区域的深度图，同时使用双目立体匹配方法从具有野外人脸的图像中学习头发和耳朵的几何信息，最后，评估和对比结果表明该方法可以产生高保真的 3D 头部几何形态和头部姿态操作结果。

    Apr, 2020

  • 360° 视频自监督空间音频生成

    通过使用端到端可训练的神经网络，我们的方法根据音频和 360 度视频帧的多模态分析，将由 360 度视频相机记录的单声道音频转换为空间音频，并从中分离和定位单独的声源于观看球上，因此通过我们的方法，仅使用 360 度视频和单声道音轨就可以推断声源的空间位置。

    Sep, 2018

  • 随地聆听

    通过 DiffRIR 的不同 iable RIR 渲染框架，使用场景的参数化模型，合成具有各种声音特征的新的听觉体验。

    Jun, 2024

  • 双耳声音的语义物体预测和空间声音超分辨率

    本文介绍了一种基于双耳声音的声音制造对象的语义标记方法，利用跨模态蒸馏框架让视觉和听觉系统相互学习，形成多任务训练网络等手段提高系统的性能。

    Mar, 2020

  • 具有对应分类器的自监督音频空间定位

    本文介绍了一种使用自监督网络进行音频空间化的方法，并使用辅助分类器和大规模视频数据集来提高性能，取得了较好的实验结果。

    May, 2019

  • 三维重建房间的新颖视角声学合成

    探究结合盲音频录音和 3D 场景信息对新视角声学合成的益处。通过 2-4 个麦克风的音频录音和包含多个未知声源的场景的 3D 几何学和材料，估计场景中的任何声音。我们确定了新视角声学合成的主要挑战，即声源定位、分离和去混响。虽然简单地训练端到端网络不能产生高质量的结果，但我们证明了融入从 3D 重建房间导出的房间脉冲响应（RIRs）使得相同的网络能够统一解决这些任务。我们的方法优于针对各个任务设计的现有方法，证明其在利用 3D 视觉信息方面的有效性。在 Matterport3D-NVAS 数据集上的模拟研究中，我们的模型在源定位方面实现了接近完美的准确性，源分离和去混响方面的 PSNR 为 26.44 dB 和 SDR 为 14.23 dB，从而在新视角声学合成方面获得了 PSNR 为 25.55 dB 和 SDR 为 14.20 dB 的结果。项目网页提供了代码、预训练模型和视频结果。

    Oct, 2023

  • 学习通过空间区域分离音频

    本文提出一种两阶段的自我监督框架，旨在实现耳机和助听器等双耳应用中的音频语音分离，该方法通过区域方式将具有细粒度空间属性的自适应信号从底噪中分离出来进行训练，并表现出远超通用监督学习的性能。

    Jul, 2022

  • 利用部分监督的视听一致性生成空间音频

    该研究提出了一种音频空间化框架，利用音频和视觉组件之间的关系将单通道视频转换为双耳音频，通过在音频和视觉模态中保留左右一致性的学习策略来实现自监督学习，验证结果表明该框架在半监督和全监督方案中具有很好的效果。

    May, 2021

  • SEE-2-SOUND：零射击空间环境到空间音效

    通过 SEE-2-SOUND 引入的零样本方法，将多模式内容生成、神经生成模型和空间音频相结合，可以为高质量视频、图像和互联网动态图像生成空间音频，实现沉浸式体验。

    Jun, 2024