- 智能流量匹配:流量匹配算法的理论及应用研究
给出了一种最小化标准流失函数的向量场精确公式,该公式在给定的分布 ρ₀和未知分布 ρ₁的基础上进行了分析,并提出了一种新的损失函数和算法。与标准条件流匹配方法相比,通过蒙特卡罗采样方法评估时,我们的损失函数表现出较小的方差。通过对合成模型和 - 回归万能预测器与凸函数的近似秩
通过引入足够统计概念,我们展示了关于损失函数族的近似秩的界限,进而改进了学习全凸的、利普希茨损失函数的全能预测器的运行时间,并为损失族具有低次多项式逼近或由广义线性模型(GLMs)生成的情况下提供了高效的全能预测器。
- 稀疏深度神经网络训练的多目标优化
深度学习中存在多个冲突的优化准则,本文提出了一种多目标优化算法,使用修改后的加权切比雪夫标量化方法来训练深度神经网络 (DNNs),并通过实验证明了可以在训练过程中自适应地稀疏化模型,而不显著影响其性能。
- 通用主配对算法
使用 Taylor 模式自动微分的近期泛化方法,我们提出了自动推导 majorizer 的优化器,这些通用的 Majorization-Minimization 优化器可应用于任意问题,并且从任何起始点收敛,无需超参数调整。
- 深度子空间聚类的多层表示学习
本文提出了一种利用卷积自编码器将图像转化为线性子空间并进行深度子空间聚类的新方法,通过在编码器和解码器之间插入多个线性层和一个新型的损失函数来提高模型性能。实验结果表明,该方法在多个真实数据集上均显著超越同类方法。
- 基于可转换架构搜索的网络剪枝
本文提出了一种新的网络剪枝方法,通过神经结构搜索直接搜索灵活的通道和层大小, 最小化剪枝网络的失误实现通道和层大小的学习,提高了传统的网络剪枝方法, 并有效地区别了不同搜索和知识转移方法的效果。
- CoCoA: 通信高效分布式优化框架
CoCoA 是一种分布式计算框架,适用于机器学习和信号处理中的大型数据集,拓展到包括 L1 正则化问题等非强凸正则化器,采用一种新的方法来处理非强凸正则化器和非光滑损失函数,具有明显优于现有方法的性能。
- 深度网络的损失感知量化
本文介绍了一种基于近端牛顿算法的深度神经网络权重二值化方法,能够直接最小化权重二值化时的损失函数,相对于现有的方法表现更好,尤其适用于深度网络和循环神经网络。
- ICML通过直接损失最小化训练深度神经网络
本文提出了一种直接损失最小化的方法来训练深度神经网络,特别适用于应用特定的指标,包括提出了新的动态规划算法来高效计算权重更新,最终在行动分类和目标检测方面表现优秀,特别是在存在标签噪声的情况下。
- 大数据学习的分布式坐标下降方法
本文介绍了一种名为 Hydra 的解决大数据损失最小化问题的混合坐标下降方法,该方法将坐标进行初始分区并在每次迭代时在不同的节点上处理,并对所需迭代次数给出了较高概率下的界限。