May, 2024

软件测试自动化中基于环境感知的人工智能视觉变化检测

PDF
TL;DR这项研究介绍了一种基于图形的方法，用于软件测试自动化中的可视变化检测，通过机器学习模型准确识别软件截屏中的用户界面控件，并构建表示控件之间上下文和空间关系的图形，利用该模型可以检测和突出显示用户界面的视觉回归，该方法在各种简单和复杂测试场景中准确检测出软件的视觉变化，在更复杂的测试场景中明显优于像素级比较和基于区域的基准方法，这项工作不仅推动了可视变化检测的发展，还具有实际意义，提供了一个强大的解决方案，用于解决现实世界的软件测试自动化挑战，提高可靠性，确保软件界面的无缝演进。
发现论文，激发创造
  • 使用图像字幕生成技术进行自动化软件文档编写的实证研究

    本文对 GUI 与自然语言描述软件之间的联系进行了综合实证研究，收集、分析和开源了一个由人类标注者提供的大规模功能 GUI 描述数据集，并探究了四种神经图像字幕模型的表征潜力，以预测不同粒度的自然语言描述，并通过大规模用户研究定量和定性评估了这些模型，最后提出多模态模型的潜力以增强未来的自动化软件文档技术。

    Jan, 2023

  • 应用间检索和设计一致性检查的计算方法

    从移动用户界面 (UI) 中提取语义表示并将这些表示用于设计师的决策过程已显示出成为有效的计算设计支持工具的潜力。我们采用大规模网络图像训练的视觉模型，以零 - shot 方式提取 UI 表示并超越现有专门模型，并使用数学基础的方法实现应用程序之间的检索和设计一致性分析。我们的实验表明，我们的方法不仅改进了以前的检索模型，还实现了多个新的应用。

    Sep, 2023

  • 领域通用的单时序监督遥感变化检测

    本文提出了基于可视化 - 语言预训练的多模态对比学习（ChangeCLIP）用于变化检测领域的广义化。同时，还提出了动态语境优化的提示学习方法。此外，为了解决现有方法中的数据依赖性问题，引入了基于单时序和可控的 AI 生成训练策略（SAIN）。通过在真实世界的大量单时序图像上训练模型而无需图像对，ChangeCLIP 实现了出色的广义化能力。大量实验验证了 ChangeCLIP 在一系列真实变化检测数据集上的优越性和强大的广义化能力，胜过了现有的最先进变化检测方法。代码将会提供。

    Apr, 2024

  • 计算机用户界面理解：一个新的数据集和学习框架

    介绍了计算机用户界面 (UI) 理解的研究课题，包括创造一个视频数据集、合成样本生成管道和对图像进行对比学习的框架，实验证明该框架优于先前提出的层级多标签对比损失在细粒度用户界面分类中的表现。

    Mar, 2024

  • 文档图像变化检测技术调查

    该论文综述了检测文档图像不同版本中变化的核心技术和规则，重点讨论了基于内容和基于布局的两类技术，总结了现有数据集和评估指标，报告了现有方法面临的缺点和挑战，并提出了未来研究的方向。

    Jul, 2023

  • 增强型用户界面指令基础：走向通用的用户界面任务自动化 API

    建立了一个多模态模型用于将自然语言指令与给定的 UI 屏幕截图联系起来，作为通用的 UI 任务自动执行器，并通过强化学习算法对其进行加强，实验结果表明，该模型在 UI 任务自动化方面表现优异，显示出作为通用 UI 任务自动化 API 的潜力。

    Oct, 2023

  • 基于机器学习的移动应用图形用户界面原型设计

    本文介绍一种自动化的 GUI 原型设计方法，通过检测、分类和组装实现准确地从 GUI 设计稿生成代码，该方法利用计算机视觉技术、自动化动态分析和深度卷积神经网络来对组件进行分类，并使用基于数据的 K 最近邻算法生成适当的分层 GUI 结构。在 Android 平台上实现了该方法的系统 ReDraw，并取得了评估成果，ReDraw 实现的平均 GUI 组件分类准确率为 91％，组装的原型应用程序的视觉外观与目标 GUI 设计稿非常相似，同时展现合理的代码结构，多位工业从业人员的访谈表明 ReDraw 能够改善真实的开发流程。

    Feb, 2018

  • 图形用户界面目标检测：传统方法、深度学习或二者结合？

    本研究使用大型实证研究方法，比较七种 GUI 元素检测方法的性能和设计效果，设计一种新的基于旧有方法和深度学习模型的 GUI 元素检测方法，并在 25,000 张 GUI 图像上测试，结果表明我们的方法有着显著的改进。

    Aug, 2020

  • 多模态人工智能系统中用于视觉指令建立的图形用户界面代理优化

    该研究提出了一种名为 Search Instruction Coordinates（SIC）的多模态对象识别解决方案，可用于自主计算机视觉驱动的人工智能代理，通过自然语言指令和 GUI 截图定位指令在屏幕上执行的组件的坐标。研究开发了两种方法，第一种基于大型语言模型和目标检测模型的三部分架构，第二种使用了多模态基础模型。

    May, 2024

  • 关于人工智能启发的用户界面设计

    通过本文讨论了三种不同的方法来利用人工智能 (AI) 来支持应用设计师创造更好、更多样化和更具创意的移动应用界面 (UI)：第一种方法是设计师可以使用大型语言模型 (LLM)，如 GPT，直接生成和调整一个或多个 UI；第二种方法是使用视觉 - 语言模型 (VLM) 有效地搜索大型截图数据集，例如应用商店中发布的应用；第三种方法是训练一个专门设计用于生成应用界面的扩散模型 (DM)，作为启发性图片。我们讨论了如何使用 AI 来激发和辅助创造性应用设计，而不是自动化它。

    Jun, 2024