本文提出了一种计算方法以改进用户体验和性能。研究者设计了一种模型用于模拟用户交互，该模型考虑了认知和运动成本，以全面地评估用户界面的调整以及向用户提供最佳建议。

Apr, 2022

本文提出了用户驱动的智能界面的新概念，它应用于各种领域中，如残疾研究，教育，家庭护理，医疗保健等，通过脑机交互等方式，利用多模态增强现实技术，以及通过机器学习等方法，分类实时神经物理反应的即时反馈，以克服当前可用用户界面的局限性，特别是针对功能残疾人群。即使在当前状态下，结合增强现实和脑机交互的接口也能提供高度适应性和个性化的服务。

Apr, 2017

本文提出了一种新的以适应规则为基础的设备交互模型，旨在适应交互级别，通过用户体验以提高教育领域的可用性，评估结果对于帮助残疾学生与计算机交互有着巨大的潜在益处。

Nov, 2022

本研究比较了三种主动学习方法和视觉检测，提出了六个新的指标来评估校准质量，并探讨了现有校准器是否能通过利用近似基准事实来扩大校准集合来提高性能。研究结果表明，即使在达到 0.95 的阈值时，探索的主动学习设置也可以将数据标注工作量减少三到四个百分点，并且不会损害整体质量目标。此外，研究结果表明，建议的校准指标成功捕获相关信息，无需获取基准事实数据，可以用于估计模型概率校准的质量。

Sep, 2022

通过分析传感器、行为和语义方面的潜在逻辑，构建了研究框架，以实现普适智能手部交互，并基于该框架总结了以前的研究主题，并说明了未来的研究方向。

Aug, 2023

提出了一种基于自监督学习和直接在线优化的方法，通过将三项传感器（相机，雷达和激光雷达）的物理特性和语义信息，综合校准实现无目标的校准，以实现安全可靠的自动驾驶技术。

Jun, 2022

本研究介绍了一种自动校准框架，将动态校准和异质校准方法结合起来，动态校准通过自动捕捉适当的模拟时间来调整模拟参数，而异质校准通过聚类方式调整与代理有关的参数，从而缩小模拟和实际群体之间的分布差距。

Mar, 2022

自主用户界面 (UI) 代理旨在通过与用户界面的自动交互来促进任务自动化。为了对齐于大型语言模型 (LLMs) 的输入 - 输出需求，现有方法在沙盒环境下开发，依赖外部工具和应用特定的 API 将环境解析为文本元素并解释预测的动作。为了减轻这些挑战，我们引入了 Auto-UI，这是一个多模态的解决方案，直接与界面交互，无需环境解析或依赖应用程序相关的 API。此外，我们提出了一种链式动作技术 —— 利用一系列中间的先前动作历史和未来动作计划 —— 以帮助代理决定执行什么动作。我们在一个新的设备控制基准 AITW 上评估了我们的方法，该基准包含 30K 个独特的指令，涵盖应用操作、网络搜索和网购等多步任务。实验结果显示，Auto-UI 实现了 90% 的动作类型预测准确率和 74% 的整体动作成功率。

Sep, 2023

通过深度学习使自主系统能够在感知的亚符号方式下逐渐理解对象及其环境，执行对象检测、传感器数据融合和语言理解任务。为了实现强大的人工智能，我们需要考虑人类提供的显式教学和通过观察人类行为获得的隐式教学，同时设计多模态输入和输出能力的系统以支持隐式和显式交互模型。我们提出了几个假设和设计指南，并通过相关工作的一个用例来实现这个目标。

Sep, 2023

用户通过绘画和说话建立交互世界的交互式方法 DrawTalking，强调用户控制和灵活性，无需编码即可具备类似编程的能力。我们在 iPad 上实现了这一方法，并开展了一个开放式研究，结果显示这种机制适用于许多创造性和探索性的应用场景。我们希望激发并为未来的自然用户中心界面研究提供启示和信息。

Jan, 2024