Mar, 2020

通过深度学习预测移动 GUI 组件的自然语言标签，解除应用程序的盲目性

PDF
TL;DR本文通过开发一个深度学习模型 LabelDroid 来实现自动预测图像按钮标签，结果表明该模型可以准确预测，并且所生成的标签质量比真实 Android 开发人员的更高。
vision impairmentscreen readermobile appsimage-based componentsdeep learning
发现论文，激发创造
  • 利用机器学习和计算机视觉提高低视力和盲人的可访问性

    利用机器学习和计算机视觉技术改善视障人士的使用便利性的移动应用程序的研究。

    Mar, 2024

  • 使用深度学习的实时药丸辨识技术

    该研究探讨了一种基于深度学习的移动应用的开发和实施，旨在通过移动设备上的实时图像处理准确识别和区分不同类型的药丸以协助盲人和视障人士，该应用利用文本转语音（TTS）提供即时的听觉反馈，提高了视障用户的可用性和独立性。研究评估了应用的检测准确性和用户体验，凸显其在改善视障人士社区的药物管理和安全方面的潜力。

    May, 2024

  • 小部件字幕：为移动用户界面元素生成自然语言描述

    提出了一种通过多模态输入自动生成 UI 元素的语言描述的新任务：小部件字幕生成任务，并使用众包收集了一个大规模的包含 162,859 个语言短语的数据集以对此进行深入分析，该数据集涵盖了 21,750 个独特 UI 屏幕中的 61,285 个 UI 元素的结构表示和图像。

    Oct, 2020

  • 屏幕识别：从像素创建移动应用的可访问性元数据

    本文介绍使用屏幕识别的方法来推断移动应用程序的辅助功能元数据，以改善移动应用程序的可访问性，从而使以前无法使用的应用程序能够被使用。

    Jan, 2021

  • 使用图像字幕生成技术进行自动化软件文档编写的实证研究

    本文对 GUI 与自然语言描述软件之间的联系进行了综合实证研究，收集、分析和开源了一个由人类标注者提供的大规模功能 GUI 描述数据集，并探究了四种神经图像字幕模型的表征潜力，以预测不同粒度的自然语言描述，并通过大规模用户研究定量和定性评估了这些模型，最后提出多模态模型的潜力以增强未来的自动化软件文档技术。

    Jan, 2023

  • 基于机器学习的移动应用图形用户界面原型设计

    本文介绍一种自动化的 GUI 原型设计方法，通过检测、分类和组装实现准确地从 GUI 设计稿生成代码，该方法利用计算机视觉技术、自动化动态分析和深度卷积神经网络来对组件进行分类，并使用基于数据的 K 最近邻算法生成适当的分层 GUI 结构。在 Android 平台上实现了该方法的系统 ReDraw，并取得了评估成果，ReDraw 实现的平均 GUI 组件分类准确率为 91％，组装的原型应用程序的视觉外观与目标 GUI 设计稿非常相似，同时展现合理的代码结构，多位工业从业人员的访谈表明 ReDraw 能够改善真实的开发流程。

    Feb, 2018

  • 智能手机上的深度学习应用程序初探

    本研究通过针对 16,500 款最热门的 Android 应用程序的统计分析揭示了智能手机应用程序如何在自然环境中利用深度学习。研究发现，智能手机深度学习框架和应用程序的使用呈现出一种繁荣的趋势，但是仍需优化手机上运行的深度学习模型，保护这些模型并验证深度学习研究的想法。

    Nov, 2018

  • 利用视觉建模和显著性分析预测和解释移动 UI 的可点击性

    本文运用基于深度学习的方法，能够仅基于像素预测移动 UI 截屏中被用户感知为可点击的元素，并运用 ML 可解释性技术解释模型输出结果，其中采用 XRAI 技术突出显示对所选区域的可点击性预测影响最强烈的截屏区域，采用 k - 最近邻方法表示数据集中对可点击性感知产生相反影响的最相似移动 UI。

    Apr, 2022

  • 移动界面实现更优语义理解

    通过对 RICO 数据集进行标注并使用多模态输入，该论文提出可提高移动设备的可访问性和自动化功能以便于使用的方法，使用户能够更好地了解 UI 元素的功能，并提出了一些创新性的功能，如通过标签引用 UI 元素，提高图标的语义等，以使 UI 对每个人都更加可用。

    Oct, 2022

  • AI 动态场景描述应用于盲人和低视力人群的研究

    对已有的使用 AI 生成图像描述的应用进行调查，通过分析 16 位视障用户在使用我们设计的 AI 场景描述应用时的日记和访谈记录发现，用户主要使用这类应用来识别已知对象的视觉特征，避免与危险物体接触；同时，用户对这些描述的满意度和信任度普遍较低，需要进一步改进以提供更满意和可信赖的用户体验，未来 AI 在帮助视障用户方面有着更大的发展潜力。

    Mar, 2024