这篇论文介绍了 Booking.com 如何通过建立成功和失败的中央资源库、具有通用性和可扩展性的代码库、监控数据收集管道的质量和可靠性、并实施保障措施等方面，在超过十年的时间内在产品开发中成功地实现了在线实验的民主化和分散化决策。

Oct, 2017

使用离线模拟器并应用多任务贝叶斯优化改进在线机器学习系统的方法，较之仅进行在线实验，能够更有效地探索复杂、多维度的策略空间，并通过学习曲线表明离线实验可以显著提高在线实验结果的准确性和优化速度。

Apr, 2019

与实验心理学家和语言学家进行在线数据收集的研究结束后，通过一系列分析比较实验室和在线中得到的单词生成实验的反应时间数据，发现在线生成研究可能是可行的，但需要付出相当大的代价，并且需要更大的样本量才能获得足够的统计效力。

Mar, 2024

本文讨论了机器学习模型在线实验所面临的问题，指出常用的 A/B-tests 并不能保证无偏估计。因此，文章提出了对从事此领域的从业人员和研究人员的影响及解决方案。

Apr, 2023

本文介绍了亚马逊公司开发的基于贝叶斯最优连续监控框架，通过强化学习算法发展一种统一的效用函数来控制企业机会成本的最优策略，并使用大规模的元分析验证与已有方法相比的有效性。

Apr, 2023

本研究提供了有关利用 BOED 及机器学习寻找可为任何类型的可模拟数据的模型提供最佳实验的教程，以及如何使用此过程的副产品快速、简便地评估模型及其参数与真实实验数据的方法，并利用模拟和真实实验验证了所提出方法的有效性。

May, 2023

本文综述了贝叶斯实验设计在优化实验设计方面的应用。最近的进展解决了计算方面的挑战，使得该方法更加实用。同时，文章也探讨了未来该领域的发展方向。

Feb, 2023

通过任务特定的实验设计和推导到定制特定下游应用程序的采样策略，我们提出了一种更节省样本数据的替代随机对照试验的方法，用于因果推断，并在各种重要任务，实际数据集和样本大小的情况下，胜过其他基准，例如需要一种数量级的数据才能在定向营销任务中达到随机对照试验的性能。

Jun, 2023

观察性研究常常存在客观性问题，本文讨论了如何通过仔细设计的方案来近似随机化实验，以获得更准确的因果推断。涉及的问题包括关键协变量数据缺失、治疗和对照组关键协变量分布的重叠度分析等，同时提出了可能的解决方案并分析了潜在结果的定义和因果效应的关键问题。

Nov, 2008

PyExperimenter 是一个自动化工具，旨在帮助人工智能领域的研究人员设置、记录、执行和后续评估算法的实证研究结果，从而显着减少涉及的手动工作。

Jan, 2023