本文探讨在自适应数据收集环境下如何使用基于加权的估计算法来学习最优策略，提出了基于广义增强的倾向性加权（AIPW）估计器的算法，并建立了有限样本遗憾上限，证明最优权重方案下，算法即使在减少探索数据的情况下也能实现最小化的遗憾保证。

May, 2021

本研究提出了一种新的范式，通过引入首个基于人类偏好征集的人在环路方法，将用户视为过程的主动参与者，结合蒙特卡洛树搜索的强化学习智能体以提供个性化干预以实现算法回溯。

May, 2022

本文研究AI辅助决策的团队决策，在考虑决策者面临的协同成本、不完美的算法决策等限制条件下，研发了人工智能团队学习框架和TeamRules算法，可提供有针对性的决策建议并在处理协同成本和团队准确性之间的平衡上产生显著的效果

Oct, 2022

本文探讨了一种学习人类决策者并提供“个性化推荐”以控制最终决策的决策辅助算法，分析了如何达到最终决策的完美控制条件，并讨论了算法的潜在应用及其社会影响。

Mar, 2023

决策问题中的一个关键任务是奖励工程。没有明显的奖励函数选择的情况在实践中很常见。因此，一种常见方法是在训练过程中引入人类反馈，并利用该反馈来学习奖励函数。在使用人类反馈的所有政策学习方法中，基于偏好的方法在近期的实证应用中表现出相当大的成功，如InstructGPT。本文中，我们发展了一个理论，可以证明基于偏好的方法在离线上下文剧集中的优势。特别地，我们改进了在直接人工评分样本上运行政策学习方法的建模和次优性分析。然后，我们将其与基于偏好的方法的次优性保证进行比较，证明了基于偏好的方法具有更低的次优性。

Jul, 2023

考虑到人对人工智能建议的忽视以及人工智能在最相关时刻有选择性地提供建议的需要，本文提出了一个顺序决策模型，该模型考虑到人的依附水平并引入了一个推迟选项，以便机器能够暂时不提供建议，并提供了能够学习最佳建议政策并仅在关键时间点提供建议的学习算法。与通用强化学习算法相比，我们的专门化学习算法不仅具有更好的理论收敛性能，而且表现出强大的实证性能。

Oct, 2023

提出了一种决策支持助手，用于在专家行为和人类行为之间充当中介；通过学习决策中介策略，并在顾及直接损失与未来泛化错误改进之间进行权衡，可以获得性能上的一致增益。

Oct, 2023

我们提出了一种新颖的个性化决策支持系统，它结合了心智理论建模和可解释的强化学习，以提供有效和可解释的干预。我们的方法利用强化学习提供专家行动建议，并结合心智理论建模来理解用户的心理状态和预测他们未来的行动，从而实现适时的干预。为了解释干预结果，我们使用了基于强化学习的因果关系解释和用户的心智模型结构。我们提出的系统能够生成精确且个性化的干预措施，并且易于被最终用户解释理解。通过一系列的众包实验，我们展示了我们方法的有效性，该实验在模拟团队决策任务中优于对照基线的任务表现。我们的方法不受任务环境和强化学习模型结构的限制，因此具有广泛应用的潜力。

Dec, 2023

个性化机器学习中，我们提出了一种名为r-MDPs的框架，通过与一小组代表性策略的交互来满足多样化的用户群体，并同时优化这些策略以最大化整体社会福利。通过两种深度强化学习算法，我们在多个模拟环境中进行了实证研究，展示了这些算法在有限的策略预算下实现有意义的个性化，并具有可扩展性，能够适应更大的策略预算。

Jan, 2024

通过离线强化学习作为一般方法对人工智能决策进行建模，以优化以人为中心的目标，本研究指出人们与经过优化的策略进行交流时，在准确性方面取得了显著提高，并强调了在人工智能决策中考虑除决策准确性之外的人为目标的重要性。

Mar, 2024