Mar, 2024

AI 动态场景描述应用于盲人和低视力人群的研究

PDF
TL;DR对已有的使用 AI 生成图像描述的应用进行调查，通过分析 16 位视障用户在使用我们设计的 AI 场景描述应用时的日记和访谈记录发现，用户主要使用这类应用来识别已知对象的视觉特征，避免与危险物体接触；同时，用户对这些描述的满意度和信任度普遍较低，需要进一步改进以提供更满意和可信赖的用户体验，未来 AI 在帮助视障用户方面有着更大的发展潜力。
scene description applicationsblind and low vision peopleai-powered scene descriptionvisual features of known objectssatisfying and trustworthy experiences
发现论文，激发创造
  • 利用机器学习和计算机视觉提高低视力和盲人的可访问性

    利用机器学习和计算机视觉技术改善视障人士的使用便利性的移动应用程序的研究。

    Mar, 2024

  • 计算机生成描述对视障人士照片分享体验的影响

    为了帮助视障人士更好地分享社交网络的照片，我们将最先进的计算机生成描述结合到 Facebook 的图片分享功能中，并通过采访和实验评估了功能。我们从自我揭示和自我呈现理论的角度讨论了这些发现，并提出了能够更好地支持视障人士视觉内容分享的计算机视觉研究方向。

    May, 2018

  • VisPercep：一种增强视觉感知能力的视觉语言方法（面向盲人和视力障碍人群）

    本文提出了一种创新的方法，利用大型视觉语言模型增强盲人和视力低下人士的视觉感知，提供周围环境的详细综合描述并警示潜在风险。该方法通过整合图像识别结果和用户查询，使用大型视觉语言模型根据提示生成环境的详细描述，并通过分析环境对象和场景来识别潜在风险。实验结果表明该方法能够准确识别对象并为盲人和视力低下人士提供深入的环境描述和分析。

    Oct, 2023

  • 为视力受损者描述图像的认知和视觉细节：生成包容段落的方法

    本研究提出一种结合图像分析方法和神经语言模型的方法，结合密集字幕技术和一组筛选器生成网络研讨会图像上下文信息，以生成高度可解释且聚焦于相关信息的描述，以应对视觉障碍个体面临的信息获取问题。

    Feb, 2022

  • 面向盲人和视障人士的实时自我的运动段落字幕生成在 RGB-D 影院图像中的研究

    通过图像字幕和分割，本研究提出了一种帮助盲人和视觉受损人士了解和重建环境的方法，该方法提供了与他们相关的区域和对象的位置描述（左、右、前），以及区域之间的位置关系，通过将解决方案应用于 TS-RGBD 数据集，旨在帮助他们访问戏剧表演。

    Aug, 2023

  • 交互式注意力 AI：将低光照片翻译为夜晚场景理解的字幕，用于妇女安全

    本文介绍了一种基于深度学习的图像字幕生成模型，该模型能够将夜晚场景转化为文字描述，为视障女性的安全开辟了新的 AI 应用空间，同时基于注意力机制的交互式图像字幕生成模型也被提出，能够通过用户提供的关注点，使 AI 关注任意人物并为其生成描述，该方法可以用于低照度环境下的图像字幕生成及为提高夜晚中的女性安全作出贡献。

    Jan, 2022

  • 生成人工智能如何提升盲人的福祉？

    通过集成源自 OpenAI 的基于 GPT-4 的 Be My AI 功能，本文探讨了生成式人工智能如何改善盲人或视力受损人士的福祉，并描述评估了作者进行的测试。同时还涉及了伦理和社会讨论，展示了这一工具能以惊人的方式分析静态图像，从而使盲人或视力受损人士获得新的独立性和对环境的新感知。同时，他们也依赖于提供者或开发者的世界观和道德观，因为它们决定是否给予他们某些描述的能力。未来的展望表明，对动态图像的分析将是一个更大的飞跃。可以说，生成式人工智能能够根本性地改善盲人和视力受损人士的福祉，并以多种方式改变他们的生活。

    Feb, 2024

  • 多模态图像字幕生成（面向视觉障碍人士）

    本研究提出用 AoANet 和指针 - 生成机制来改进图像字幕视频，实现文本检测和复制，提高图像字幕性能从而更好地帮助视力受损人士理解环境。

    May, 2021

  • 现实世界图像描述和场景识别的全面分析

    图像字幕生成是一项计算机视觉任务，涉及为图像生成自然语言描述，本文评估了基于不同编码机制、语言解码器和训练过程构建的多种模型在真实世界图像字幕生成方面的性能。

    Aug, 2023

  • 解释 CLIP 在盲 / 低视能用户数据上的表现差异

    大型多模态模型 (LMMs) 在为盲人或低视力用户提供自动视觉辅助方面具有潜力。我们通过实证评估 CLIP，在零样本分类任务中测试了 25 个 CLIP 变体，发现其在盲人用户捕获的图像上的准确性平均低了 15 个百分点，原因是 CLIP 对图像内容、图像质量和文本内容的敏感性不足。通过对三个常见的预训练数据集进行文本分析，我们发现残疾内容很少被提及。我们还提供了三个示例，说明性能差异扩展到由 CLIP 支持的三个下游模型：OWL-ViT, CLIPSeg 和 DALL-E2。我们发现使用仅有 5 张图像进行少样本学习可以在某些情况下缓解 BLV 用户的 CLIP 的服务质量差异，我们还讨论了一系列可能的缓解措施。

    Nov, 2023