Jan, 2024

自动化网络无障碍违规修复的 Prompt 工程

PDF
TL;DR通过实时修改文档对象模型和基础模型，利用较大型语言模型和提示工程技术，该论文提出了一种纠正网络可访问性违规的新方法，在我们的新基准 ACCESS 上，经过纠正后可将可访问性违规错误减少超过 51％，展示了创造包容性网络内容的有价值方法，并为未来研究提供了探索自动化网络可访问性的高级方法的方向。
web accessibilityaccessibility violationsdocument object modellarge language modelsautomation
发现论文，激发创造
  • AXNav：从自然语言重播辅助测试

    本文研究了使用自然语言和大型语言模型进行辅助技术控制以支持可访问性测试，并构建了一个系统，该系统使用大型语言模型和基于像素的用户界面理解模型执行测试并生成可分章节、可导航的视频，通过 10 名可访问性质量保证专业人员的用户研究评估，表明该工具在提高工作效率方面非常有用，并揭示了将大型语言模型应用于可访问性测试的未来工作方向。

    Oct, 2023

  • MotorEase: 移动应用程序界面中自动检测运动障碍可访问性问题

    自动识别影响运动障碍用户的无障碍问题的研究，介绍了 MotorEase—— 一种能够识别移动应用用户界面中影响运动障碍用户的无障碍问题的新方法，通过计算机视觉和文本处理技术适应运动障碍用户的界面设计指南，其在新开发的 MotorCheck 基准上表现出较高的准确性和低的误报率。

    Mar, 2024

  • 基于自然语言处理的面向视觉障碍学生的计算机化考试指南的开发

    本文介绍了一种面向视觉障碍学生的自然语言处理 (Computer-Based Test) 指导系统，它利用语音技术对文字问题和选项进行实时转换，以便视觉障碍学生能够理解和分析内容。通过使用样本音频数据集标签与预测出的系统语音记录进行比较，验证了预训练模型的准确性和性能。

    Jan, 2024

  • 为盲人和低视力读者打造无障碍漫画

    使用提示工程技术和上下文信息对大型语言模型进行微调，以生成完整故事的准确文本描述，以便转发到现成的语音合成工具。

    Jul, 2024

  • 基于布局的网页质量评估

    本文提出了一种基于布局的网络页面质量评估模型，采用 Document Object Model（DOM）树形数据作为输入，并使用图神经网络（GNN）方法优化质量评估，并经过离线和在线实验证明该方法有效。

    Jan, 2023

  • 为视力受损者描述图像的认知和视觉细节：生成包容段落的方法

    本研究提出一种结合图像分析方法和神经语言模型的方法，结合密集字幕技术和一组筛选器生成网络研讨会图像上下文信息，以生成高度可解释且聚焦于相关信息的描述，以应对视觉障碍个体面临的信息获取问题。

    Feb, 2022

  • ACCSAMS：自動將考試文件轉換為盲人和視覺障礙者可接觸的學習資料

    提出了一个名为 ACCSAMS 的半自动系统，用于提高考试文档的可访问性。该系统通过创建可访问的布局、去除不必要的空白、添加导航结构以及补充以前缺失的视觉元素的替代文本，解决了盲人和视障学生面临的学术障碍。此外，还提供了一个包括 1,293 份德语和 900 份英语考试文档的多语言手动标注数据集，可作为深度学习模型的良好训练来源。

    May, 2024

  • WebWISE：大型语言模型的 Web 界面控制和顺序探索

    使用大型语言模型 (LLM) 自动执行 Web 软件任务，通过点击、滚动和文本输入操作，以 DOM 元素作为观测，逐步执行任务生成小程序，利用上下文学习从单一或自动生成的示例中受益，该方法在 MiniWob++ 基准测试中表现优于其他需要多个演示或试验的方法。

    Oct, 2023

  • 文档可导航性：印刷受障碍者的需求

    本篇研究针对印刷文件对盲人、低视力和其他不慎残疾人士仍然存在挑战。作者提出了一种基于视觉的技术来定位参考内容和提取所需的元数据，从而为视力受损人士提供无障碍浏览体验。

    Jun, 2022

  • 针对初级编程任务的自动反馈生成

    我们提出了一种自动为入门编程问题提供反馈的新方法，该方法利用参考实现的任务和由可能制造的错误组成的错误模型。

    Apr, 2012