TL;DR本文从信息论的角度探讨了通用监督学习问题，提出了一个名为 Predictive Normalized Maximum Likelihood (pNML) 的学习方案，并证明其在特定测试任务的学习能力超过了当前基于经验风险最小化 (ERM) 的领先方法。
Abstract
universal supervised learning is considered from an information theoretic
point of view following the universal prediction approach, see Merhav and Feder
(1998). We consider the standard supervised "batch" learning where prediction
is done on a test sample once the entire training data
在该论文中，我们考虑了在误差设置下的通用批次学习问题，其中假设类是一个模型集合，但数据是由未知分布生成的，可能不属于该集合，而是来自一个更大的模型集合。我们利用极小极大定理和信息论工具，推导出最优的通用学习器，即数据生成分布集合上的混合分布，获得了最小最大遗憾的闭式表达式。我们发展了一种扩展的 Arimoto-Blahut 算法用于遗憾值和达到容量的先验分布的数值评估。对于观测结果来自 K 个参数的多项式分布，而假设类是该分布族的子集的情况，我们展示了我们的结果。
这项研究提出了一种无监督机器学习方法来优化量化金融中的盈亏（Profit and Loss）。我们的算法类似于无监督线性回归，通过线性组合外生变量构造的信号，最大化盈亏的夏普比率。该方法利用外生变量与交易信号之间的线性关系，通过参数优化来最大化夏普比率。在代表美国国债的 ETF 上的实证应用展示了模型的有效性，并通过正则化技术来减少过拟合。研究总结了进一步发展的潜在方向，包括广义时间步长和增强校正项。