Feb, 2019

使用众包和深度学习建模移动界面的可点击性

PDF
TL;DR本篇论文通过大规模数据收集、深度神经网络进行推测，提出了一种模型预测用户对于界面元素的可点击性，即 tappability，并开发了工具 TapShoe，对设计师进行可点击状态的自动诊断。
发现论文，激发创造
  • 利用视觉建模和显著性分析预测和解释移动 UI 的可点击性

    本文运用基于深度学习的方法，能够仅基于像素预测移动 UI 截屏中被用户感知为可点击的元素，并运用 ML 可解释性技术解释模型输出结果，其中采用 XRAI 技术突出显示对所选区域的可点击性预测影响最强烈的截屏区域，采用 k - 最近邻方法表示数据集中对可点击性感知产生相反影响的最相似移动 UI。

    Apr, 2022

  • 触觉分析：机器学习分类算法在触觉数据上的实证评估

    研究通过触摸屏智能手机上独特的交互行为对个体进行分类。使用 Touch-Analytics 数据集，包括 41 个受试者和 30 个不同的行为特征。提出了新的特征来改善整体鉴别性能。通过结合新特征和现有特征，SVM 和 kNN 的分类准确率分别为 94.7% 和 94.6%。探索了七个其他的分类器，并且决策树和提出的 DNN 分类器的准确率最高达到 100%。

    Nov, 2023

  • 触觉操纵：基于深度预测模型的触控控制

    本文中，我们提出了一种深度触觉模型预测的方法，结合高分辨率触觉传感器，通过无监督自主交互生成模型以从原始触觉传感器输入进行学习，并将学习到的模型用于将物体重新定位到用户指定的配置，从而实现非握持操作的触觉控制。

    Mar, 2019

  • 屏幕识别：从像素创建移动应用的可访问性元数据

    本文介绍使用屏幕识别的方法来推断移动应用程序的辅助功能元数据，以改善移动应用程序的可访问性，从而使以前无法使用的应用程序能够被使用。

    Jan, 2021

  • BootsTAP：跟踪的引导式训练

    通过自我监督的师生设置，使用大规模无标签、无筛选的真实世界数据，以最小的架构改变改进 Tracking-Any-Point (TAP) 模型，实现了在 TAP-Vid 基准测试中的最新性能，超过先前研究结果很大幅度：例如、TAP-Vid-DAVIS 性能从 61.3% 提高到 66.4%，TAP-Vid-Kinetics 从 57.2% 提高到 61.5%。

    Feb, 2024

  • 移动界面实现更优语义理解

    通过对 RICO 数据集进行标注并使用多模态输入，该论文提出可提高移动设备的可访问性和自动化功能以便于使用的方法，使用户能够更好地了解 UI 元素的功能，并提出了一些创新性的功能，如通过标签引用 UI 元素，提高图标的语义等，以使 UI 对每个人都更加可用。

    Oct, 2022

  • 通过深度学习预测移动 GUI 组件的自然语言标签，解除应用程序的盲目性

    本文通过开发一个深度学习模型 LabelDroid 来实现自动预测图像按钮标签，结果表明该模型可以准确预测，并且所生成的标签质量比真实 Android 开发人员的更高。

    Mar, 2020

  • 增强人机交互的触觉手势识别技术进展

    本研究旨在提出一个强大的触觉手势识别系统，通过对各种手势识别方法进行综合评估，包括传统的特征工程方法和能够实时解释各种手势的当代深度学习技术，以适应手的大小、运动速度、施加压力水平和交互点的变化，我们对各种方法的深入分析为人机交互领域的基于触觉的手势识别做出了重要贡献。

    May, 2024

  • 将触觉与一切相连：学习统一的多模态触觉表征

    通过与预训练的图像嵌入相关联，UniTouch 统一了视觉为基础的触觉传感器与其他多种模态之间的关系，并引入了可学习的传感器特定标记，使模型能够同时从一组异构触觉传感器学习，从而在零样本设置下进行各种触觉感知任务。UniTouch 是第一个展示此类能力的模型。

    Jan, 2024

  • RoboTAP：用于少样本视觉模仿的任意点追踪

    我们探讨了密集跟踪作为一种表征工具，使机器人能够更快、更通用地从示教中学习，并展示了通过密集跟踪生成的稳健机器人策略能够解决复杂的物体排列任务，如形状匹配、堆叠，甚至全路径跟踪任务，如涂胶并粘合物体，这些示教仅需数分钟即可收集。

    Aug, 2023