human-in-the-loop optimization utilizes human expertise to guide machine
optimizers iteratively and search for an optimal solution in a solution space.
While prior empirical studies mainly investigated novices, we analyzed the
impact of the levels of expertise on the outcome quality an
研究了用户与三个模拟算法模型的交互，发现较低水平的用户虽然能从 AI 建议中受益，但是他们的决策水平却没能达到 AI 的精度，高水平用户则通常能辨别何时应该遵循 AI 建议并保持或提高其性能，而中等水平者则最不稳定，AI 建议会对其性能产生帮助或伤害，此外，用户对 AI 性能的感知也对决策的精度影响非常大。该研究提供了关于人工智能协作相关复杂因素的见解，并提出了如何开发以人为本的人工智能算法以辅助用户在决策任务中的建议。