- 关于 l∞扰动下对抗训练估计器的渐近行为
该研究聚焦于通过对抗性训练对抗机器学习和统计模型中的对抗攻击进行防御,通过研究广义线性模型中对抗性训练估计器的渐近行为,揭示其在 $\ell_\infty$- 扰动下的极限分布,在真实参数为 0 时对 0 处有正概率的特性,进一步提出了自适 - 用因果森林目标相对风险异质性
我们提出并实施了一种方法,通过基于广义线性模型比较的新颖节点分割过程,修改因果森林以针对相对风险目标。我们展示了对模拟和真实数据的结果,表明相对风险因果森林可以捕捉到未观察到的异质性来源。
- 非线性特征聚合:基于理论的两个算法
本文提出了两种基于非线性变换和广义线性模型的降维算法,分别适用于回归和分类问题,测试表明算法效果竞争力强。
- 转移因果学习:具有知识传输的因果效应估计
使用 $\ell_1$ 正则化的迁移学习方法,可用于同质的情况下提高因果效应估计的准确性,可使用广义线性模型和神经网络得到性能提高
- 通过近似消息传递实现混合回归
本文提出了一种基于 Matrix GLM 的近似消息传递算法(AMP)来估计混合线性回归等多个广义线性模型的信号,经过状态演化递归的理论分析得出该算法的性能,同时使用状态演化方法在每次迭代中选择 AMP 的最优去噪函数,数值模拟结果验证了 - 使用草图和 Coresets 的 $p$- 广义 Probit 回归和可扩展的最大似然估计
研究了 $p$-generalized probit 回归模型,这是一个用于二元响应的广义线性模型。提出了一种 $p$- 广义正态分布替换标准 probit 模型的链接函数,其主要应用是考虑到该分布对数据拟合更加灵活,最大似然估计方法可以通 - ICML利用非均匀性进行一阶非凸优化
通过非统一的平滑性和非统一的 Lojasiewicz 不等式,提出了一些新的方法,用于更快地达到全局最优点,在强化学习和监督学习中表现出了广泛的适用性及实验效果。
- 纵向分块数据上的混合差分隐私联邦学习
HDP-VFL 是首个联邦学习中差分隐私的框架,实现了模型学习的隐私保护,其效果与非隐私保护的联邦学习相似,并且采用了同态加密和安全多方计算等协议以确保计算和训练的安全。
- 贝叶斯元先学习:基于经验贝叶斯的方法
本文提出了一种层次经验贝叶斯方法,以解决实际问题中面临的挑战,即缺乏信息先验和无法控制参数学习速率的问题。该方法从数据本身学习经验元先验,并将它们用于解耦 GLM 中的一阶和二阶特征的学习速率。作者将其应用于标准监督学习优化问题以及在线组合 - 广义线性赌博机中最佳臂的识别
针对广义线性赌博机的最佳臂识别问题,提出了第一个算法,并在模拟中评估其性能和采样效率。该算法旨在最小化确定足够接近最佳臂所需的臂拉取次数。
- 弱恢复的基本限制及其在相位恢复中的应用
文中介绍了相位恢复、谱方法、弱恢复、经验协方差矩阵和广义线性模型等方面的内容,并给出了大维极限下的阈值和矩阵的谱性质的尖锐刻画
- 非齐次马尔科夫模型的贝叶斯多项伽马数据扩充方法及其在降雨模拟中的应用
本文提出了一种新的非同质隐马尔可夫模型推理算法,该算法允许我们处理在状态转移模型以及发射分布中引入的非齐次性,充分体现了贝叶斯分析在这一领域中的优势。
- 广义线性模型的向量近似传递算法
本文介绍了将 “vector AMP” 算法推广到广义线性模型 (Genelized Linear Model, GLM) 中的方法,通过实验表明所提出的 GLM-VAMP 算法比阻尼 GAMP 算法更能应对矩阵 A 病态化的情况。
- 线性汤普森抽样再探
在随机线性赌博机问题中,我们为 Thompson 采样的后悔证明提供了一种替代证明方法。我们展示了后悔与目标函数的敏感性有关,并且选取与乐观参数相关的最优臂可以控制后悔,在具有固定概率为乐观的采样分布下来看,Thompson 采样可以作为一 - NIPS自适应正则化的 Dropout 训练
该研究论文通过将 dropout 解释为一种正则化方法,建立了它与 L2 正则化和 AdaGrad 的联系。进一步地,该方法可被应用于半监督学习,旨在提高模型性能,并在文本分类任务中得到了成功应用。