Sep, 2023

Hawkeye: 基于深度强化学习的面向变化目标的Android应用测试

HTML
PDF
TL;DR通过基于深度强化学习的历史探索数据，Hawkeye提出了一种有针对性地测试App更新的方法，能够优先执行与代码变更相关的GUI操作，相比FastBot2和ARES等测试工具，在开源App和大型商业App上更可靠地生成面向更改功能的GUI事件序列，并在开源App中表现出可比较的性能。
发现论文，激发创造
  • 基于机器学习的移动应用图形用户界面原型设计

    本文介绍一种自动化的 GUI 原型设计方法，通过检测、分类和组装实现准确地从 GUI 设计稿生成代码，该方法利用计算机视觉技术、自动化动态分析和深度卷积神经网络来对组件进行分类，并使用基于数据的 K 最近邻算法生成适当的分层 GUI 结构。在 Android 平台上实现了该方法的系统 ReDraw，并取得了评估成果，ReDraw 实现的平均 GUI 组件分类准确率为 91％，组装的原型应用程序的视觉外观与目标 GUI 设计稿非常相似，同时展现合理的代码结构，多位工业从业人员的访谈表明 ReDraw 能够改善真实的开发流程。

    Feb, 2018

  • FuzzerGym: 一种用于模糊测试和学习的竞争性框架

    本研究旨在提出一种新型的fuzzing方法，它从程序当前状态信息入手，利用强化学习优化变异算子，以达到更全面的覆盖率，并使程序监视器与深度神经网络相连接，能够同时利用强化学习以及fuzzing的优势来优化测试用例。

    Jul, 2018

  • DeepRNG：面向深度强化学习辅助下的软件生成测试

    本文介绍DeepRNG框架，在随机数生成器中加入深度强化学习，通过简洁的状态表示显著改善了Cosmos SDK软件库的测试效果。

    Jan, 2022

  • 基于搜索的强化学习测试

    研究开发了基于搜索的深度强化学习测试框架，用于评估深度强化学习代理的性能和安全性，其中包括利用搜索算法进行参考跟踪的安全测试和创建多样化的跟踪以评估代理的总体性能。

    May, 2022

  • 自主大型语言模型代理实现驱动意图的移动GUI测试

    DroidAgent是一个用于自动化GUI测试的智能代理，它基于大规模语言模型和支持机制以实现对Android应用的语义驱动自动测试，在实验评估中展现了较高水平的自主性和与应用的深度交互，根据测试结果，DroidAgent相较于现有的GUI测试技术具有更高的活动覆盖率。

    Nov, 2023

  • Craftax: 一个开放式强化学习的快速基准

    通过引入Craftax作为新的基准，研究人员可以在复杂的无限环境中进行实验，而无需大量的计算资源。

    Feb, 2024

  • AURORA: 通过自动化神经屏幕理解导航用户界面陷阱

    通过学习移动应用界面中的视觉和文本模式，AURORA引入了一种新的自动语义屏幕理解技术，以有效地避开复杂屏幕进行移动应用程序的探索，其改善了已存在方法的屏幕覆盖率达到19.6％。

    Apr, 2024

  • LlamaTouch: 一个忠实且可扩展的移动界面自动化测试床任务评估

    LlamaTouch是一种用于在设备上执行代理程序和可信、可扩展代理评估的测试平台，它通过观察任务执行过程只传输UI状态，采用了新颖的评估方法来评估代理程序是否遍历了所有手动注释的应用程序/系统状态。

    Apr, 2024

  • AndroidWorld: 一个用于自主智能体动态基准测试的环境

    自主代理、AndroidWorld、奖励信号、编程任务工作流、计算机控制代理

    May, 2024

  • GUI奥德赛：一份针对移动设备的跨应用图形用户界面导航的综合数据集

    智能手机用户在不同应用程序之间导航，而自动图形用户界面（GUI）导航代理可以通过简化工作流程和减少手动干预来提高用户在沟通、娱乐和生产力方面的体验。本研究介绍了GUI Odyssey，这是一个用于训练和评估跨应用程序导航代理的综合数据集。通过利用GUI Odyssey，研究人员开发了OdysseyAgent，一个多模式跨应用程序导航代理，其在准确性方面超越了现有模型。

    Jun, 2024