- ICML向因果不变性正则化:带代理的线性模型
我们提出了一种学习线性模型的方法,该方法可使预测性能对无法观测变量的因果干预具有鲁棒性,当这些变量的噪声代理可用时。
- ICML等变模型的可证明的严格泛化优势
本研究通过研究线性模型,证明了当目标分布与紧致群相关时,使模型不变 / 等变能够改善泛化性能,并揭示了泛化,训练样本数量和群作用属性之间的有趣关系。
- ICLR差分隐私学习需要更好的特征(或许更多数据)
在许多经典视觉任务中,使用不同 ially private 机器学习还没有达到其 'AlexNet 时刻 ':对于手工特征训练的线性模型,其在中等隐私预算下的性能明显优于端到端的深度神经网络。为了超越手工特征的表现,我们展示私人学习要么需要 - 训练速度和模型选择的贝叶斯视角
从贝叶斯角度出发,通过线性模型的训练速度和边缘似然之间的联系揭示其两个主要见解,即模型的训练速度可以用来估计其边缘似然,同时在一定条件下,这个度量量可以预测线性模型组合中模型的相对权重,实验证明这种直觉在深层神经网络的无穷宽度限制和随机梯度 - 计算复杂度视角下的模型可解释性
本文在探讨不同模型的可解释性时,提出了一种基于计算复杂度理论的原则性可解释性概念,并证明了线性模型和基于树的模型相对于神经网络更可解释,同时通过参数化复杂度分析,提出了浅层神经网络比深层神经网络更容易解释的理论证据。
- 广义线性模型的谱初始化近似消息传递
本文章研究了使用广义线性模型的估计问题并探讨了使用近似消息传递算法的表现,提出使用谱估计器作为初始化方法以解决一些模型中初始化时的相关性和独立性问题,并通过两阶段人工消息传递算法进行分析和模拟实验验证了该方法。
- 线性模型中的彩票票:迭代幅值剪枝分析
本文分析了彩票假设下利用迭代幅值剪枝方法对梯度流训练的线性模型进行裁剪的过程,并探讨了 IMP 作为一种稀疏估计方法的效果。
- ICMLGWAS 的深度可解释性
本文探讨了基因组关联研究中的线性模型与深度网络模型的优缺点,并提出了一种基于 DeepLIFT 技术的方法,可以识别出已知和可能的糖尿病遗传风险因素。
- 鲁棒线性回归:多项式时间内的最优速率
本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下,基于平方和框架的线性模型学习算法,该算法的收敛速度与扰动的比例成幂率关系,能达到理论最优收敛速度且在先前研究中未被发现。
- 遵循模型还是遵循数据的真实性?
该研究论文讨论了在机器学习中解释协作游戏的 Shapley 值的应用,特别是在特征归因方面。作者提出了两种主要方法来连接机器学习模型和协同游戏,并讨论了如何在模型和数据之间进行选择。此外,他们提出了一个有效的方法来计算线性模型中 Shapl - 深度学习在股市预测中的应用:最近进展
这篇研究论文对近年来基于深度学习模型的股票市场预测的研究进行了综述,分析并分类了不同数据源、神经网络结构、常用评估指标以及实现和可重现性,并提出了未来的研究方向,旨在帮助研究人员了解最新进展和重现以前的研究作为基线。
- 在线学习中的 Lipschitz 与比较器规范适应性
研究了在无界设置下的在线凸优化,提出了无需参数和无需缩放的算法,并将其用于线性模型的在线预测。
- 机器学习模型中的数据近似删除
本文提出了一种新的线性模型和逻辑模型的近似删除方法,其计算成本在特征维度 d 上是线性的,并且独立于训练数据数量 n。我们还开发了一种新的特征注入测试方法,以评估从机器学习模型中删除数据的彻底性。
- KDD基于一阶线性模型的简单高效图自编码器
使用更简单的线性模型代替多层图卷积网络编码器学习节点的向量空间表示,在节点嵌入等任务上表现良好,提出对于复杂的图自编码器和变分自编码器反复使用这些基准数据集进行比较的问题。
- Cyanure:用于 Python、C++ 等的经验风险最小化的开源工具箱
Cyanure 是一个开源的 C++ 软件包,包含 Python 接口,旨在提供基于随机方差减少随机优化及加速机制的学习线性模型的最先进的求解器。
- ICML关于黑盒预测的二阶群影响函数
本文探讨了二阶影响函数的概念,提出使用二阶影响函数来识别测试预测中有影响的训练样本组,特别是在涉及较大的训练样本集合时,相较于现有的一阶影响函数有更为显著的提高,增强了影响值与实际值之间的相关性。同时展示了如何利用优化技术来选择最具影响力的 - 线性模型的最优解释
提出了一种基于最优化的规则,将线性模型分解为不断增加复杂性的一系列模型,从而为线性模型创建解释,并派生出线性模型的参数化互操作性指标族,研究了解释性和预测准确性之间的权衡。
- 因果线性模型中通过调整实现高效总效应估计的图形标准
本研究提出了一种基于图形的标准来比较不同有效调整集合提供的渐近方差,同时介绍一种简单的减少方差的修剪程序和提供最优渐近方差的有效调整集合的图形特征,并展示这些结果的实际应用性。
- 基于两两比较数据的解耦回归
提出了一种利用成对比较数据的非耦合回归方法,该数据由具有未知对应关系的未标记数据组成,可用于匿名目标预测,并且与使用有标记数据的监督学习相当,具有较广泛的应用范围。
- 当特征具有依赖性时解释单个预测:更准确的 Shapley 值逼近
本文介绍了使用 Shapley 值框架及其高维的计算有效近似,使复杂机器学习模型在解释各远行预测时更具可解释性,同时提出了处理相关特征的方法,增强了解释精度。