Aug, 2023

面向盲人和视障人士的实时自我的运动段落字幕生成在 RGB-D 影院图像中的研究

PDF
TL;DR通过图像字幕和分割，本研究提出了一种帮助盲人和视觉受损人士了解和重建环境的方法，该方法提供了与他们相关的区域和对象的位置描述（左、右、前），以及区域之间的位置关系，通过将解决方案应用于 TS-RGBD 数据集，旨在帮助他们访问戏剧表演。
image captioningsegmentationcomputer visionblind and visually impairedts-rgbd dataset
发现论文，激发创造
  • TS-RGBD 数据集：面向视觉障碍人士的剧场场景描述的新型数据集

    在这篇论文中，我们提出了一个包含具有人类动作的真实场景和密集标题注释的新型 RGB-D 数据集（TS-RGBD 数据集），以进行影像字幕和人类动作识别。我们测试了图像字幕模型和基于骨骼的人类动作识别模型，以通过检测人类动作并对剧场场景中感兴趣区域的外观进行文本描述，拓展了视障人士所在环境类型的范围。

    Aug, 2023

  • 现实世界图像描述和场景识别的全面分析

    图像字幕生成是一项计算机视觉任务，涉及为图像生成自然语言描述，本文评估了基于不同编码机制、语言解码器和训练过程构建的多种模型在真实世界图像字幕生成方面的性能。

    Aug, 2023

  • 为视力受损者描述图像的认知和视觉细节：生成包容段落的方法

    本研究提出一种结合图像分析方法和神经语言模型的方法，结合密集字幕技术和一组筛选器生成网络研讨会图像上下文信息，以生成高度可解释且聚焦于相关信息的描述，以应对视觉障碍个体面临的信息获取问题。

    Feb, 2022

  • 基于深度学习的穿戴式助视系统

    本文提出了一种基于深度学习的辅助系统，旨在提高视障人士的环境感知体验，通过 RGBD 数据和建立的语义地图预测行走指令、进行障碍物避让，在多种情境下得到了很好的实验效果并有效提高了视障人士的环境感知体验。

    Aug, 2019

  • 利用基于 Transformer 的框架提高图像字幕生成的深度信息

    本研究通过整合 RGB 图像与深度信息进行图像描述，提出了一种基于 Transformer 编码 - 解码框架生成 3D 场景多句描述的方法，并在 NYU-v2 和斯坦福图像段落描述数据集上进行了实验，结果表明深度信息可以提高图像描述的效果。

    Jul, 2023

  • 室内场景分析的高效 RGB-D 语义分割

    本文介绍了一种使用 NVIDIA TensorRT 进行优化的高效且稳健的 RGB-D 分割方法，该方法可作为场景分析系统的公共初始处理步骤。我们通过使用 ESANet 在 NYUv2 和 SUNRGB-D 室内数据集上进行评估，展示了 RGB-D 分割优于仅处理 RGB 图像的效果，并证明当网络架构精心设计时仍可实时完成。此外，我们在 Cityscapes 的室外数据集上进行评估，显示了我们的方法也适用于其他应用领域，并展示了我们在一个室内应用场景中的定性结果.

    Nov, 2020

  • RGB-D 目标检测与语义分割用于杂乱环境中的自主操作

    通过利用深度融合技术和深度学习的物体检测和语义分割算法，我们成功地解决了在复杂场景中感知目标物体的问题，并在 Amazon Picking Challenge2016 和紧急响应场景数据集上进行了验证。

    Oct, 2018

  • 室内场景的完整三维模型预测

    本文提出了一种基于数据驱动的方法解释室内场景，并利用 CAD 3D 模型表示场景中的物体和墙壁布局，最终在 NYU 数据集上呈现了令人鼓舞的结果。

    Apr, 2015

  • 多模态图像字幕生成（面向视觉障碍人士）

    本研究提出用 AoANet 和指针 - 生成机制来改进图像字幕视频，实现文本检测和复制，提高图像字幕性能从而更好地帮助视力受损人士理解环境。

    May, 2021

  • 基于 RGB 输入的实时面部分割和表现捕捉

    通过显式的语义分割技术，利用深度学习网络在实时的不受限制的图像中进行面部追踪，进而应用于虚拟化妆和面部替换任务。

    Apr, 2016