May, 2018

计算机生成描述对视障人士照片分享体验的影响

PDF
TL;DR为了帮助视障人士更好地分享社交网络的照片，我们将最先进的计算机生成描述结合到 Facebook 的图片分享功能中，并通过采访和实验评估了功能。我们从自我揭示和自我呈现理论的角度讨论了这些发现，并提出了能够更好地支持视障人士视觉内容分享的计算机视觉研究方向。
visually impairedphoto descriptionsocial networkingcomputer-generated descriptionsself-disclosure
发现论文，激发创造
  • 为视力受损者描述图像的认知和视觉细节：生成包容段落的方法

    本研究提出一种结合图像分析方法和神经语言模型的方法，结合密集字幕技术和一组筛选器生成网络研讨会图像上下文信息，以生成高度可解释且聚焦于相关信息的描述，以应对视觉障碍个体面临的信息获取问题。

    Feb, 2022

  • AI 动态场景描述应用于盲人和低视力人群的研究

    对已有的使用 AI 生成图像描述的应用进行调查，通过分析 16 位视障用户在使用我们设计的 AI 场景描述应用时的日记和访谈记录发现，用户主要使用这类应用来识别已知对象的视觉特征，避免与危险物体接触；同时，用户对这些描述的满意度和信任度普遍较低，需要进一步改进以提供更满意和可信赖的用户体验，未来 AI 在帮助视障用户方面有着更大的发展潜力。

    Mar, 2024

  • 帮助视障人士拍摄更高质量的照片

    该研究利用认知图像分析技术开发了自动化工具，旨在改善视力受损用户拍摄照片的技术质量问题，建立了一个大型的歪曲视力受损用户生成内容（VI-UGC）图像数据库，利用人类感知质量判断和失真标签进行预测模型的训练及其反馈系统的原型设计，为视力受损用户提供拍摄更高质量照片的机会。

    May, 2023

  • 多模态图像字幕生成（面向视觉障碍人士）

    本研究提出用 AoANet 和指针 - 生成机制来改进图像字幕视频，实现文本检测和复制，提高图像字幕性能从而更好地帮助视力受损人士理解环境。

    May, 2021

  • 赋能视障人士：苹果实时照片和安卓动态照片的新应用

    我们介绍了一种评估和对比 Live/Motion 照片与传统基于图像的方法在视觉辅助任务中的有效性的简单方法，并发现 Live 照片和运动照片在常见视觉辅助任务中，特别是物体分类和 VideoQA 中，优于单帧图像。通过在视障个体采集的视频组成的 ORBIT 数据集上进行了大量实验验证了我们的结果。此外，我们进行了一系列的消融研究，以深入研究去模糊和较长时间剪辑的影响。

    Sep, 2023

  • 使用人类参考数据评估自动图像描述

    通过产生更好的数据和寻找替代方法来改进图像描述系统的评估，因为当前的图像描述数据集质量不足。需要更详细的指导方针来考虑视觉障碍用户的需求和生成适当的描述。

    Jun, 2020

  • 利用机器学习和计算机视觉提高低视力和盲人的可访问性

    利用机器学习和计算机视觉技术改善视障人士的使用便利性的移动应用程序的研究。

    Mar, 2024

  • 盲人拍摄的图像字幕

    通过观察实际用户的需求，作者介绍了第一个适合盲人用户需求的图像说明数据集，检验数据集特征并比较其和其他数据集的不同，同时研究最新的图像说明算法在如此数据集中的挑战。

    Feb, 2020

  • 关注图像字幕模型生成的描述

    研究了人类描述场景时自底向上显著性视觉关注和物体引用之间的一致性；提出了一种以显著性为增强因素的图像标题生成模型，结果发现该模型并不明显优于传统方法，但能更好地适用于未知数据。

    Apr, 2017

  • 从图像中生成自动描述：模型、数据集和评估措施综述

    本文综述了计算机视觉和自然语言处理社区最近对于从自然图像中自动生成描述的兴趣，系统分类了现有的方法并进行了详细回顾，讨论了它们的优缺点，总结了基准图像数据集和评估措施，并展望了未来的发展方向。

    Jan, 2016