StateLens是一种能够让盲人通过逆向工程技术，辅助使用无障碍动态触摸屏的系统，其包含三个部分：基于视角视频使用混合众包-计算机视觉提取显示状态；生成对话代理协助用户操作；以及使用3D打印附件降低用户误操作风险。技术评估和用户试用表明StateLens能够精确还原接口并帮助盲用户成功地使用不易访问的动态触摸屏。

Aug, 2019

本研究提出BugRMSys，结合历史bug报告和用户评价，利用自然语言文本嵌入技术在相同类别的移动应用程序之间进行协作式bug查找，从而快速暴露新应用程序中的问题。实验结果表明，成功发现、重现并报告了20个新漏洞。

Jan, 2023

ChatRepair是第一个全自动、基于会话的自动程序修复方法，它以对话方式交替进行修补生成和直接反馈以实现自动程序修复。

Apr, 2023

本文研究了使用自然语言和大型语言模型进行辅助技术控制以支持可访问性测试，并构建了一个系统，该系统使用大型语言模型和基于像素的用户界面理解模型执行测试并生成可分章节、可导航的视频，通过10名可访问性质量保证专业人员的用户研究评估，表明该工具在提高工作效率方面非常有用，并揭示了将大型语言模型应用于可访问性测试的未来工作方向。

Oct, 2023

通过使用低成本的3D打印增强技术，我们引入了AccessLens系统，旨在识别日常物品中无法访问的接口，并推荐3D打印增强措施以提高可访问性。我们训练了一个检测器，使用AccessDB数据集来自动识别6种常见物品类别中的21种不可访问类别，同时AccessMeta提供了一个全面的词典，将这些可访问性类别与开源的3D增强设计相联系。实验证明我们的检测器在检测无法访问物品方面的性能。

Jan, 2024

通过实时修改文档对象模型和基础模型，利用较大型语言模型和提示工程技术，该论文提出了一种纠正网络可访问性违规的新方法，在我们的新基准ACCESS上，经过纠正后可将可访问性违规错误减少超过51％，展示了创造包容性网络内容的有价值方法，并为未来研究提供了探索自动化网络可访问性的高级方法的方向。

Jan, 2024

自动识别影响运动障碍用户的无障碍问题的研究，介绍了MotorEase——一种能够识别移动应用用户界面中影响运动障碍用户的无障碍问题的新方法，通过计算机视觉和文本处理技术适应运动障碍用户的界面设计指南，其在新开发的MotorCheck基准上表现出较高的准确性和低的误报率。

Mar, 2024

通过学习移动应用界面中的视觉和文本模式，AURORA引入了一种新的自动语义屏幕理解技术，以有效地避开复杂屏幕进行移动应用程序的探索，其改善了已存在方法的屏幕覆盖率达到19.6％。

Apr, 2024

LlamaTouch是一种用于在设备上执行代理程序和可信、可扩展代理评估的测试平台，它通过观察任务执行过程只传输UI状态，采用了新颖的评估方法来评估代理程序是否遍历了所有手动注释的应用程序/系统状态。

Apr, 2024

Aptly是一种扩展了MIT App Inventor平台的工具，通过代码生成的大型语言模型实现自然语言驱动的移动应用开发；Aptly通过文本语言与App Inventor的块语言相结合，允许通过文本模型实现可视化代码生成；论文详细介绍了Aptly服务器如何集成语言模型，以实时协作的方式自动创建和编辑用户指令下的移动应用；最后，通过对涉及高中学生的试点实验的研究结果，论文强调了Aptly作为一个工具的潜力，它民主化了应用程序开发并促进了技术创造力。

Apr, 2024