Oct, 2022

元语音：元宇宙中的语音效果随环境变换

PDF
TL;DR本研究旨在通过音频转换技术将真实环境的音频特效转换到 Metaverse 的用户语音上，实现用户在 Metaverse 中的更高度沉浸感。实验结果表明，该方法优于基线方法，可以完成特定环境音效的转换。
metaversevoice conversionenvironment effectadversarial trainingimmersion
发现论文，激发创造
  • 探讨 VoxCeleb：环境不变语音说话者识别

    通过对话者识别中未使用的 ' 视频 ' 信息进行环境对抗学习框架，我们成功实现了能够在训练期间有效学习讲话者判别性和环境不变嵌入的网络，该方法在 VoxCeleb 数据集上得到验证，证明基准测试中的性能显著提高。

    Oct, 2019

  • 读取场景：将机器人的语音适应环境和社交背景

    本研究旨在通过语音转换、使用环境音和背景图像数据，以及合适的 TTS 文本合成技术，优化机器人语音在不同场景下的适用性和可接受性，从而提供人机交互和服务机器人的解决方案。

    May, 2022

  • 为虚拟现实中的对话代理赋予声音

    在虚拟现实中，通过多模式和沉浸式交互，可以极大地提升与对话代理的对话体验。本研究提出了一种开源架构，旨在简化虚拟环境中工作的对话代理的开发过程。该架构提供了将不同领域的对话代理以及自定义或基于云的语音识别和语音合成模型集成进来使交互具备语音功能的可能性。利用该架构，我们开发了两个对话原型，分别在非沉浸式显示器和虚拟现实头显中在数字健康领域运行。

    Aug, 2023

  • 元宇宙学习环境：测量、预测和提高人际有效性

    利用人工智能和虚拟现实结合创造具有高度沉浸感的学习体验，作者通过小规模的实验结果验证虚拟角色可以帮助个体的人际关系技巧，大数据分析展示了基于机器学习的预测也取得了一定成果。

    May, 2022

  • Voice2Action: 語言模型在虛擬現實中作為高效實時互動的代理

    使用 Voice2Action 框架，在虚拟现实环境中通过分析声音信号和文本命令，进行分级处理和执行任务，以提高效率。

    Sep, 2023

  • 情感社交人形智能系统

    本文提出了一种智能虚拟助手，可通过情感语义解释人类语音情感， 并且通过声音风格转移和人工生成方法生成特定情感的声波，使得与之互动的人有更好的体验。

    Apr, 2023

  • 视觉感知的文本转语音

    本文提出了一种新的视觉感知文本转语音（VA-TTS）任务，它可以根据面对面交流中听者的语音和面部表情条件语音的生成，实验表明该方法可以在多种情景下生成更加自然有节奏感的音频。

    Jun, 2023

  • AffectEcho: 语音合成的与说话人无关和语言无关的情感和情绪转移

    AffectEcho 是一种情感转换模型，通过使用 Vector Quantized codebook 在量化空间中建模具有五个不同强度级别的情感，从而捕捉相同情感的复杂细微差别，实验结果证明了该方法在生成语音时控制情感的有效性以及保留每个说话者独特身份、风格和情感韵律方面的优势。

    Aug, 2023

  • 提升机器人口音适应能力：消除含糊不清的说话

    在不同环境和语境下，研究了人与机器人之间的口语交流并提出了自适应语音的模型，研究表明，良好的声学质量与可理解性和用户体验正相关，而距离远、分散背景声音会降低可理解性和用户满意度。经过评估表明，自适应声音参数相比固定声音参数具有更好的可理解性和用户体验。

    May, 2024

  • 基于说话人和环境的分解式自适应训练方法，用于 Conformer 语音识别系统

    本文提出了一种新的基于贝叶斯因式分解的说话人和环境自适应训练和测试方法，用于 Conformer ASR 模型，实验结果表明，该方法在 WHAM 噪声下的 Switchboard 数据中优于基线模型和仅适配说话人标签的 Conformer 模型，可以实现快速适应无见说话人和环境条件。

    Jun, 2023