Dec, 2023

AutoVisual Fusion Suite：在 HuggingFace 平台上对图像分割和语音转换工具的全面评估

PDF
TL;DR本研究对 HuggingFace 平台上可用的工具进行了全面评估，旨在识别人工智能中两个关键应用领域：图像分割和语音转换。通过安装和配置 Linux 系统上的顶级三个工具，我们利用了预训练的分割模型和语音转换模型，在实施过程中遇到的方法和挑战进行了详细讨论，并展示了自动视觉融合套件项目中视频分割和语音转换的成功结合。
发现论文，激发创造
  • 多维融合与一致性的半监督医学图像分割

    本文介绍了一种新颖的针对医学图像分割的半监督学习框架，核心是创新的多尺度文本感知 ViT-CNN 融合方案，该方案巧妙地结合了 ViTs 和 CNNs 的优势，充分利用了视觉 - 语言模态中的互补信息。进一步丰富我们的框架，我们提出了多轴一致性框架，生成稳健的伪标签，从而提升了半监督学习过程。我们在多个常用数据集上进行了广泛的实验，这些实验无可辩驳地证明了我们方法的有效性。

    Sep, 2023

  • 基于注意力机制的视听融合在强鲁棒性自动语音识别中的应用

    本文提出了一种音频视觉融合策略，该策略不仅可以超越简单的特征连接，而且可以自动地对齐两种方式，具有提高语音识别准确性的增强表示，特别适合干扰噪声环境中的识别任务，并且可以推广到许多涉及相关模态的多模态任务中。

    Sep, 2018

  • 无需注释的音视频分割

    本文提出了一种用于定位视觉场景中声音对象的 Audio-Visual Segmentation (AVS) 的方法，其中使用了缩放和无注释的管道来生成 AVS 模型的合成数据，还提出了一种 Audio-Aware Transformer (AuTR) 结构，具有音频感知的查询式变压器解码器，以使模型更准确地进行分割。作者在合成和实际数据集上进行了广泛的实验，并取得了很好的效果。

    May, 2023

  • 非层次化变压器用于行人分割

    我们提出了一种解决自主系统中实例分割挑战的方法，特别针对可访问性和包容性。我们的方法利用非层次化的 Vision Transformer 变种 EVA-02，结合级联 Mask R-CNN 掩码头部。通过在 AVA 实例分割挑战数据集上进行微调，我们在测试集上实现了 52.68％的有希望的平均精度（mAP）。我们的结果证明了 ViT-based 架构在增强视觉能力和满足残障人士的独特需求方面的有效性。

    Jul, 2023

  • 为主动发言人检测提供的端到端音视频特征融合

    本文提出了一种基于 VGG-M 和 Mel Cepstrum 系数的双流端到端框架，利用两个 BiGRU 层来处理音视频输入的时间动态，并在 AVAAcitveSpeaker 数据集上的实验结果表明，该模型具有更好的鲁棒性和更好的推断时间。

    Jul, 2022

  • RTSeg：实时语义分割比较研究

    本文提出了一个实时语义分割基准测试框架，包括特征提取和解码方法的分离设计，采用不同的网络架构和分割方法，在城市场景的 Cityscapes 数据集上进行了实验，并展示了与 SegNet 相比可实现 143 倍 GFLOPS 减少的优势。

    Mar, 2018

  • VoViT: 基于图论的低延迟音视频语音分离 Transformer

    本文提出了一种音频 - 视觉声音分离方案，在两种不同场景（语音和唱歌）中实现了低时延的最新成果。该模型基于两级网络，采用轻量级图卷积网络从面部标记中提取运动线索，然后将视觉和音频特征输入到音频 - 视觉转换器中，为目标源的隔离估计提供相当不错的结果。在第二阶段，利用音频网络增强了主要的声音。我们进行了不同的消融研究和与最先进的方法比较。最后，我们探讨了在唱声分离任务中训练语音分离模型的可转移性。

    Mar, 2022

  • 使用视觉 Transformer 进行语义分割：一项调查

    调查了不同的 ViT 架构用于语义分割的性能和使用基准数据集对其进行比较。

    May, 2023

  • 基于 Transformer 的视觉分割：一份综述

    本文综述了基于 transformer 的视觉分割技术，总结了近期的进展，详细介绍了各种方法设计和应用，并对该领域的未来研究方向进行了探讨。

    Apr, 2023

  • VisemeNet：音频驱动的动画师中心语音动画

    本文提出了一种基于深度学习的新型方法，用于直接从输入音频中产生驱动 JALI 或标准 FACS 制作面部捕捉的动画师中心音频运动曲线。

    May, 2018