该论文提出了一种基于神经网络的技术来确定点击数据的案例概念，从而使过程挖掘和其他过程分析技术能够在用户交互数据上进行。研究表明此方法可扩展到大数据集，而使用此技术可以带来可操作的流程洞察。

Nov, 2022

本文提出了一种利用 UI 日志分析数据转换的优化技术，以发现在重复性数据传输过程中自动化的机会。

Jan, 2020

本文提出了一种基于句法的方法，利用分析过程中的查询来生成定制化的界面，其中界面部件被建模为修改当前分析查询的函数，我们的系统可以从 10,000 个查询的日志中生成界面，并可用于简单的预测任务。

Apr, 2019

介绍了计算机用户界面 (UI) 理解的研究课题，包括创造一个视频数据集、合成样本生成管道和对图像进行对比学习的框架，实验证明该框架优于先前提出的层级多标签对比损失在细粒度用户界面分类中的表现。

Mar, 2024

自主用户界面 (UI) 代理旨在通过与用户界面的自动交互来促进任务自动化。为了对齐于大型语言模型 (LLMs) 的输入 - 输出需求，现有方法在沙盒环境下开发，依赖外部工具和应用特定的 API 将环境解析为文本元素并解释预测的动作。为了减轻这些挑战，我们引入了 Auto-UI，这是一个多模态的解决方案，直接与界面交互，无需环境解析或依赖应用程序相关的 API。此外，我们提出了一种链式动作技术 —— 利用一系列中间的先前动作历史和未来动作计划 —— 以帮助代理决定执行什么动作。我们在一个新的设备控制基准 AITW 上评估了我们的方法，该基准包含 30K 个独特的指令，涵盖应用操作、网络搜索和网购等多步任务。实验结果显示，Auto-UI 实现了 90% 的动作类型预测准确率和 74% 的整体动作成功率。

Sep, 2023

本文提出了一种基于神经网络的方法，通过将用户交互数据聚合为单独的用户会话来解决没有案例标识符的点击数据的分析障碍，并在移动共享公司的用户交互事件的上下文中展示事件 - 案例相关性的案例和用户研究。通过与流程专家的访谈，本文进一步验证了流程挖掘分析对结果良好形成的事件日志的影响。

Apr, 2022

本研究探索如何利用 UI 说明书中的图像来学习 UI 屏幕及其组件的通用视觉 - 语言表示，并提出了一种名为 Lexi 的预训练模型，该模型可处理 UI 屏幕的独特特点，包括其丰富的文本和上下文敏感性。通过创建包含 114k UI 图像及其功能描述的 UICaption 数据集，我们证明了该模型可用于 UI 行动蕴含和 UI 实体识别等任务。

Jan, 2023

通过机器学习模型 UIClip，本研究开发了一种用于评估 UI 设计质量和视觉相关性的方法，通过截图和自然语言描述来对 UI 进行评估，实验证明 UIClip 在与其他基准方法和人工设计师评分进行对比时取得了最高一致性，从而为 UI 设计质量的直接评估提供了便利。

Apr, 2024

该研究介绍了一种基于用户交互轨迹的 UI 理解预训练模型 ActionBert，利用视觉、语言和领域专业特征来预训练 UI 元素的泛化特征表示，以解决 UI 的理解和功能识别的问题，并在图标分类和 UI 组件检索等任务上测试模型的效果。

Dec, 2020

该研究发布了一份从 2013 年至 2020 年间收集的大规模特定领域点击日志数据集，用于培训神经信息检索模型。通过使用该数据集，研究人员甚至发现使用神经信息检索模型可以显着提高信息检索的性能，尤其是对于经常查询的查询。

Mar, 2021