Feb, 2024

从硬件规格预测笔记本电脑用户体验

PDF
TL;DR通过硬件规格预测设备用户体验在实际应用中的表现，对于厂商来说是一个常见的挑战。使用了梯度提升回归树模型，通过设备规格预测了在常见用户工作负载下的用户体验指标，并在数据集上达到了 97.8% 的拟合优度和 10.1% 的预测误差。
user experiencedeviceestimationhardware specificationsperformance prediction
发现论文，激发创造
  • 走向生态有效的语言用户界面研究

    使用近代深度学习方法构建 Data-driven 的语言用户界面（LUIs），作者讨论了生成的数据来源对于实际应用的有效性的影响，指出当前一些基准测试对真实应用存在差距，提出了提高 LUIs 机器学习研究的生态效度的建议。

    Jul, 2020

  • 探索浏览器内深度学习推理对用户体验质量和性能的影响

    深度学习在 Web 应用中的 “浏览器内推理” 方法正在被广泛应用，然而该方法的实际性能以及对用户体验质量（QoE）的影响尚未得到很好的了解。本研究通过对广泛使用的 9 个深度学习模型在 50 个流行的 PC Web 浏览器上的测试，提出了新的性能指标，包括响应速度、流畅度和推理准确性，研究结果显示浏览器内推理存在显著的延迟问题，相比本地推理方法，CPU 平均延迟慢 16.9 倍，GPU 平均延迟慢 4.9 倍，并且浏览器内推理对内存的需求非常大，有时达到 DL 模型本身大小的 334.6 倍，这导致了内存管理的亚最优性。此外，浏览器内推理还显著增加了 Web 浏览器中图形用户界面（GUI）组件加载的时间，对依赖该技术的 Web 应用用户的整体 QoE 造成严重影响。

    Feb, 2024

  • 语言模型基准测试的可预测性如何？

    通过在 11 种最近的模型架构中研究大规模语言模型在五个数量级的计算规模上的表现，我们发现平均基准性能相当可预测，尽管在特定任务中的性能预测具有挑战性，因此计算规模提供了预测人工智能在不同基准测试中能力的有希望的基础。

    Jan, 2024

  • 电商搜索中查询性能的预测

    本文研究通过用户与搜索结果的互动来评估电子商务搜索引擎的表现，并通过分析用户行为模式和构建分类器来预测查询性能，最终取得了平均 0.75 的 AUC。

    Aug, 2018

  • 高效计算的神经网络评分

    通过引入一个复合分数来衡量精确度和功耗在神经网络推断过程中的权衡，本文提出了一个新的开源工具，使研究人员能够考虑更多的指标，包括细粒度的功耗、RAM/CPU/GPU 利用率，以及存储和网络的输入 / 输出。该方法被用于探索神经网络的能耗和精确度之间的折衷，同时也有助于对比两种架构，以更准确地适配硬件和进行架构探索。

    Oct, 2023

  • MLPerf 推理基准测试

    这篇文章介绍了通过制定一套标准的机器学习基准测试和评估准则来评估以不同结构构建的机器学习硬件和软件系统的性能，以解决各种机器学习结构的评估所面临的挑战。

    Nov, 2019

  • 开发特定领域自然语言处理应用的生成用户体验研究

    本文提出了一种将生成性用户体验（UX）研究与开发领域自然语言处理（NLP）应用程序相结合的方法论，并在案例研究中证明，将领域专家参与其中可以提高他们对最终 NLP 应用程序的兴趣和信任。

    Jun, 2023

  • MLPerf 训练基准测试

    MLPerf 是一个机器学习基准测试，用于量化评估训练性能和可扩展性，解决了优化训练、随机性和系统差异等挑战。

    Oct, 2019

  • 使用 AI 工具预测移动应用的可用性：大型用户界面模型的崛起、机遇与挑战

    在移动应用程序的背景下，本文提出了所谓的大型用户界面模型（LUIMs），以通过人工智能生成用户界面并预测可用性。

    May, 2024

  • 利用视觉建模和显著性分析预测和解释移动 UI 的可点击性

    本文运用基于深度学习的方法，能够仅基于像素预测移动 UI 截屏中被用户感知为可点击的元素，并运用 ML 可解释性技术解释模型输出结果，其中采用 XRAI 技术突出显示对所选区域的可点击性预测影响最强烈的截屏区域，采用 k - 最近邻方法表示数据集中对可点击性感知产生相反影响的最相似移动 UI。

    Apr, 2022