Jamie Pool, Ebrahim Beyrami, Vishak Gopal, Ashkan Aazami, Jayant Gupchup...
TL;DR使用 AB 测试原理构建的 Python 库 Lumos 可以自动化诊断度量回归,通过在微软的 RTC 应用程序 Skype 和 Microsoft Teams 上实施,Lumos 已经使工程团队在度量基础调查中释放了高达 95% 的时间。
Abstract
web-scale applications can ship code on a daily to weekly cadence. These applications rely on online metrics to monitor the health of new releases. Regressions in metric values need to be detected and diagnosed a