Jan, 2021

屏幕识别：从像素创建移动应用的可访问性元数据

PDF
TL;DR本文介绍使用屏幕识别的方法来推断移动应用程序的辅助功能元数据，以改善移动应用程序的可访问性，从而使以前无法使用的应用程序能够被使用。
accessibilitymobile appsmetadataui elementsscreen recognition
发现论文，激发创造
  • 应用间检索和设计一致性检查的计算方法

    从移动用户界面 (UI) 中提取语义表示并将这些表示用于设计师的决策过程已显示出成为有效的计算设计支持工具的潜力。我们采用大规模网络图像训练的视觉模型，以零 - shot 方式提取 UI 表示并超越现有专门模型，并使用数学基础的方法实现应用程序之间的检索和设计一致性分析。我们的实验表明，我们的方法不仅改进了以前的检索模型，还实现了多个新的应用。

    Sep, 2023

  • 移动界面实现更优语义理解

    通过对 RICO 数据集进行标注并使用多模态输入，该论文提出可提高移动设备的可访问性和自动化功能以便于使用的方法，使用户能够更好地了解 UI 元素的功能，并提出了一些创新性的功能，如通过标签引用 UI 元素，提高图标的语义等，以使 UI 对每个人都更加可用。

    Oct, 2022

  • 利用视觉建模和显著性分析预测和解释移动 UI 的可点击性

    本文运用基于深度学习的方法，能够仅基于像素预测移动 UI 截屏中被用户感知为可点击的元素，并运用 ML 可解释性技术解释模型输出结果，其中采用 XRAI 技术突出显示对所选区域的可点击性预测影响最强烈的截屏区域，采用 k - 最近邻方法表示数据集中对可点击性感知产生相反影响的最相似移动 UI。

    Apr, 2022

  • 通过深度学习预测移动 GUI 组件的自然语言标签，解除应用程序的盲目性

    本文通过开发一个深度学习模型 LabelDroid 来实现自动预测图像按钮标签，结果表明该模型可以准确预测，并且所生成的标签质量比真实 Android 开发人员的更高。

    Mar, 2020

  • 移动界面理解：利用视觉 - 语言模型并聚焦

    本文提出了一种仅基于移动 UI 的截图进行 UI 建模的方法，命名为 Spotlight，该方法的表现优于使用截图和视图层次结构的方法，并且具有多任务学习和少样本学习能力。

    Sep, 2022

  • Screen2Words: 基于多模态学习的自动移动 UI 摘要

    Screen2Words 是一种新颖的屏幕总结方法，它可以将 UI 屏幕的基本信息自动封装到一个连贯的语言短语中，并通过多模态学习，使用深度模型，为移动屏幕生成高质量的总结，为语言和用户界面的进一步桥梁奠定基础。

    Aug, 2021

  • ScreenAI：面向用户界面和信息图的视觉语言模型

    屏幕用户界面、信息图表、ScreenAI、视觉 - 语言模型和基于 UI 和信息图表的任务是该研究论文的关键词和概要。

    Feb, 2024

  • 小部件字幕：为移动用户界面元素生成自然语言描述

    提出了一种通过多模态输入自动生成 UI 元素的语言描述的新任务：小部件字幕生成任务，并使用众包收集了一个大规模的包含 162,859 个语言短语的数据集以对此进行深入分析，该数据集涵盖了 21,750 个独特 UI 屏幕中的 61,285 个 UI 元素的结构表示和图像。

    Oct, 2020

  • ScreenQA：基于移动应用截图的大规模问答对

    本研究提出了一个新的任务和数据集 ScreenQA，旨在通过问答实现对屏幕内容的理解，并在 RICO 数据集上注释了 80,000 多个问题 - 答案对，以期评估屏幕阅读理解能力。

    Sep, 2022

  • 通过自适应提示调整进行移动用户界面元素检测

    本研究提出一种新的 MUI 元素检测数据集 MUI-zh，以及一种 Adaptive Prompt Tuning (APT) 模块，该模块可以通过采用区分 OCR 信息的方法，来联合优化不同模式下的类别 prompts。实验证明我们的方法可以取得显著的改善。

    May, 2023