graphical user interfaces | BriefGPT

关键词graphical user interfaces

搜索结果 - 8

随地阅读：具备布局感知的 GUI 屏幕阅读与镜头树定位
通过使用 Tree-of-Lens（ToL）代理，该研究提出了一种新的构建方法来解决 Screen Point-and-Read（SPR）任务，该代理不仅理解指示区域的内容，还能表达布局和元素之间的空间关系，这对于准确解释屏幕上的信息至关重
PDF7 days ago
从用户界面轨迹识别用户目标
介绍了从观察到的用户界面轨迹中抽取目标的任务，并提出了一种新的评估指标来评估特定用户界面环境下两个任务描述是否是释义关系。通过与用户界面自动化任务的逆关系，利用 Android-In-The-Wild 和 Mind2Web 数据集进行了实验
PDF14 days ago
扫视路径模型中设计决策的影响
模拟视觉显著性在图形用户界面（GUI）中，有助于理解人们如何感知 GUI 设计以及吸引他们注意力的元素。我们系统地分析了不同设计参数对扫描路径评估指标的影响，使用了最先进的计算模型（DeepGaze++）。我们特别关注三个设计参数：输入图像
PDF2 months ago
Graph4GUI：用于表示图形用户界面的图神经网络
现代的图形用户界面（GUI）展示着不同的文本、图形和交互元素的排列，但 GUI 的表达方式却没有跟上。为了更高效地利用机器学习在 GUI 中的潜力，Graph4GUI 利用图神经网络捕捉了各个元素的属性以及它们之间的语义 - 视觉 - 空间
PDF2 months ago
EyeFormer：使用 Transformer 引导的强化学习预测个性化扫描路径
通过使用 Transformer 模型和深度强化学习算法，我们提出了 EyeFormer 模型，可以预测个体用户的视觉扫描路径，并在图形用户界面布局优化等方面有广泛应用。
PDF3 months ago
指南：执行的图形用户界面数据
通过介绍 GUIDE 数据集，本文旨在促进多模态大型语言模型 (MLLM) 在图形用户界面领域的研究和开发，特别是与自动化过程中的机器人的使用案例相关的任务。本数据集的多平台特性和多样化的网站覆盖范围使得探索自动化任务中的跨界面能力成为可能
PDF3 months ago
CogAgent：GUI 代理的视觉语言模型
本研究介绍了 CogAgent，这是一个在 GUI 理解和导航方面专门使用的 180 亿参数的视觉语言模型，通过低分辨率和高分辨率图像编码器，支持 1120*1120 分辨率的输入，能够识别微小的页面元素和文本。CogAgent 在五个文本
PDF7 months ago
ACLSLATE: 一个专业人士专用的超轻量级标注工具
本文介绍了一种基于终端的轻量级标注工具，支持不同尺度和类型的标注，具有易于定制的键绑定和 Unicode 支持，通过用户研究与其他工具相比使用安装均更为便捷，并已成功地应用于两个语料库的标注，填补了存在的需求空缺。
PDF5 years ago