自适应实验设计与反事实推断

MMOct, 2022

Adaptive Experimental Design and Counterfactual Inference

Tanner Fiez, Sergio Gamez, Arick Chen, Houssam Nassif, Lalit Jain

TL;DR本文讨论了使用自适应实验设计方法在非稳态的工业环境下进行实验的挑战和陷阱，提供了在这些环境中的正确目标和系统规格的不同观点，并基于这些经验开发了一个自适应实验设计框架用于对照推断，并在商业环境中进行了测试。

Abstract

adaptive experimental design methods are increasingly being used in industry as a tool to boost testing throughput or reduce experimentation cost relative to traditional A/B/N testing methods. This paper shares lessons learned regarding the challenges and pitfalls of naively using adap

adaptive experimental design counterfactual inference non-stationarity industrial settings system specifications

发现论文，激发创造

三元之优：实践中的数字营销适应性实验

基于经验开发了一种适应性实验设计（AED）框架，用于反事实推断，并在商业环境中进行了测试，以解决在具有非平稳性的工业环境中使用 AED 系统的挑战和问题。

Feb, 2024

间接实验的自适应仪器设计

间接实验通过利用（条件）工具变量来估计治疗效果，提供了一种有价值的框架，适用于无法进行随机对照试验（RCT）的情况。本文提出了通过自适应设计数据收集策略来提高间接实验的样本效率的实际计算流程，通过在各个领域进行实验展示了该方法如何显著提高间接实验的样本效率。

Dec, 2023

反事实和合成控制的精确稳健的符合性推断方法

介绍了针对政策评估的反事实和合成控制方法的新推断过程。将因果推理问题重新表述为反事实预测和结构性断裂检验问题，并开发置换推断过程以适应现代高维度估计器，能在弱和易验证的条件下有效地进行，并证明了对错误说明的稳健性。本方法可以与许多不同的方法结合使用，用于在没有政策干预的情况下预测反事实均值结果。我们的方法在模拟中表现出优秀的小样本性能，并进行数据应用，重新评估取消室内卖淫的后果。

Dec, 2017

适应性在线实验设计用于因果推断

在线学习中基于干预样本历史的分离图系统相匹配的追踪停止因果发现算法优于现有方法，通过较少的样本实现更高准确性的因果图学习。

May, 2024

自适应数据分析中维护统计学有效性

关于如何在自适应数据分析中保证统计推断的有效性的研究，使用隐私保护技术协调估计值，并在估计指数数量的期望时取得了指数级的改进，适用于多重假设检验和虚假发现率控制。

Nov, 2014

基于贝叶斯实验设计的因果决策实际测试与上下文优化的高效性检验

本文提出了一种用于评估和改进因果机器学习模型下上下文治疗分配决策的数据采集框架，采用贝叶斯实验设计用于数据高效率评估和改进过去治疗分配的遗憾。与 A / B 测试等方法相比，我们的方法通过引入基于信息的设计目标来避免分配已知高度次优的治疗方法，同时进行探索以收集相关信息。我们的方法适用于离散和连续治疗，与其他基线相比，模拟研究表明了我们提出的信息理论方法具有更好的性能。

Jul, 2022

目标定向顺序间接实验设计

通过二级优化程序，我们开发了一种自适应策略，设计间接实验来在选定的目标上尽可能减小询问的上下界之间的差距，从而告知关于真实机制的查询。

May, 2024

为平衡讲师和研究者激励而开展的持续改进的自适应实验的机遇

利用机器学习算法进行自适应试验可以在教学改进中提供更好的支持，此方法可以通过随机实验比较传统和自适应试验来探索如何在研究和实践中进行持续改进。

Oct, 2023

现代贝叶斯实验设计

本文综述了贝叶斯实验设计在优化实验设计方面的应用。最近的进展解决了计算方面的挑战，使得该方法更加实用。同时，文章也探讨了未来该领域的发展方向。

Feb, 2023

干预在何地、何种方式？大规模因果模型的实验设计

本文提出将 Bayesian 因果发现方法融入到贝叶斯优化实验设计框架中，可以在选择干预目标和值的同时，发现具有大规模、非线性结构因果模型的有效性已在合成图和基因调控网络数据集上得到验证。

Mar, 2022