Apr, 2022

利用视觉建模和显著性分析预测和解释移动 UI 的可点击性

PDF
TL;DR本文运用基于深度学习的方法，能够仅基于像素预测移动 UI 截屏中被用户感知为可点击的元素，并运用 ML 可解释性技术解释模型输出结果，其中采用 XRAI 技术突出显示对所选区域的可点击性预测影响最强烈的截屏区域，采用 k - 最近邻方法表示数据集中对可点击性感知产生相反影响的最相似移动 UI。
deep learningmobile uiml interpretabilityxraik-nearest neighbors
发现论文，激发创造
  • 使用众包和深度学习建模移动界面的可点击性

    本篇论文通过大规模数据收集、深度神经网络进行推测，提出了一种模型预测用户对于界面元素的可点击性，即 tappability，并开发了工具 TapShoe，对设计师进行可点击状态的自动诊断。

    Feb, 2019

  • 移动界面理解：利用视觉 - 语言模型并聚焦

    本文提出了一种仅基于移动 UI 的截图进行 UI 建模的方法，命名为 Spotlight，该方法的表现优于使用截图和视图层次结构的方法，并且具有多任务学习和少样本学习能力。

    Sep, 2022

  • 屏幕识别：从像素创建移动应用的可访问性元数据

    本文介绍使用屏幕识别的方法来推断移动应用程序的辅助功能元数据，以改善移动应用程序的可访问性，从而使以前无法使用的应用程序能够被使用。

    Jan, 2021

  • 应用间检索和设计一致性检查的计算方法

    从移动用户界面 (UI) 中提取语义表示并将这些表示用于设计师的决策过程已显示出成为有效的计算设计支持工具的潜力。我们采用大规模网络图像训练的视觉模型，以零 - shot 方式提取 UI 表示并超越现有专门模型，并使用数学基础的方法实现应用程序之间的检索和设计一致性分析。我们的实验表明，我们的方法不仅改进了以前的检索模型，还实现了多个新的应用。

    Sep, 2023

  • 移动界面实现更优语义理解

    通过对 RICO 数据集进行标注并使用多模态输入，该论文提出可提高移动设备的可访问性和自动化功能以便于使用的方法，使用户能够更好地了解 UI 元素的功能，并提出了一些创新性的功能，如通过标签引用 UI 元素，提高图标的语义等，以使 UI 对每个人都更加可用。

    Oct, 2022

  • 使用 AI 工具预测移动应用的可用性：大型用户界面模型的崛起、机遇与挑战

    在移动应用程序的背景下，本文提出了所谓的大型用户界面模型（LUIMs），以通过人工智能生成用户界面并预测可用性。

    May, 2024

  • 司机注意力分散力量研究：车内触摸屏交互视觉需求的可解释预测

    本文利用大量自然驾驶数据和机器学习方法，预测车内触摸屏界面的可视需求和驾驶员视觉关注分配的影响因素，并提供局部和全局的解释说明，以帮助设计师评估当前设计并更好地预测和理解其对未来设计所可能产生的影响。

    Jan, 2023

  • 基于显著性模型解释的图形感知

    通过实验设计研究可视化设计决策、对齐类型和显著性地图质量对人类感知显著性视觉解释的影响。

    Jun, 2024

  • 通过深度学习预测移动 GUI 组件的自然语言标签，解除应用程序的盲目性

    本文通过开发一个深度学习模型 LabelDroid 来实现自动预测图像按钮标签，结果表明该模型可以准确预测，并且所生成的标签质量比真实 Android 开发人员的更高。

    Mar, 2020

  • 告诉我下一步：通用用户界面表示的文本预测

    通过预训练目标 Textual Foresight 来学习移动应用程序用户界面的表示，该方法能生成给定当前界面和本地操作后的未来界面状态的全局文本描述，并在 UI 生成任务上比现有技术性能提高了 2%，训练数据量减少 28 倍。使用新构建的移动应用程序数据集 OpenApp，发现 Textual Foresight 相比其他基准方法平均任务性能提高了 5.7%，并且使用的数据量减少了 2 倍。

    Jun, 2024