- 自适应个性化联邦学习
本文提出了一种自适应个性化联邦学习算法，采用局部和整体模型混合的方法来提高模型的个性化能力，并使用通信高效的最优化方法来协同学习个性化模型，实验证明了该算法的有效性与泛化理论的正确性。
- CVPR分层稳健表示学习
本研究探讨了深度学习中中间层所提取的深层特征，并证明了这些特征的性能可能不佳，因为它们是通过最小化经验风险来学习的。针对当前任务与基准数据集的数据分布不同的情况，本研究提出了一种层次稳健优化方法来学习更通用的特征。该方法同时考虑了 exam - 用于修剪非常深的神经网络的全局稀疏动量 SGD
本文提出了一个基于动量优化（momentum-SGD-based optimization）的优化方法，用于压缩 DNN 模型，从而消除冗余参数，减少网络的复杂度。该方法采用全局压缩策略来自动找到层次的稀疏率，经过优化后能够无需耗费时间进行 - ICCV面向 Flops 受限的人脸识别
本文介绍了 trojans 团队在 ICCV19-Lightweight Face Recognition Challenge 中提交的解决方案。该解决方案通过基于 Flops 约束的搜索网络架构 “Efficient PolyFace”、 - XNAS: 带有专家建议的神经结构搜索
本文提出了一种新颖的基于预测理论的微分神经结构搜索优化方法，其优化标准很适合于架构选择，即最小化次优操作选择所产生的遗憾。我们的方法动态地清除劣质结构并增强优秀结构，它获得了最优最坏情况遗憾的较佳性能，并建议使用基于反向梯度携带信息量的多个 - 通过谱约束的结构化图学习的统一框架
本文介绍了一个基于高斯图模型和谱图理论的统一图学习框架，通过对图矩阵的谱约束实现了特定结构的图形式化，提出的算法具有收敛性，计算高效，在合成和真实数据集上的实验表明了其有效性。
- CVPR反向路径追踪用于联合材质和照明估计
Inverse Path Tracing 通过可逆光传输模拟，提出了一种新颖的方法，可以在保证物理正确性的情况下，同时获取室内场景中的光源和材料属性，并使用可微分的蒙特卡罗渲染器进行优化，以实现编辑和重渲染。
- KDD营销预算分配的统一框架
本文提出了一种基于数据驱动、使用半黑盒模型和高效优化算法的营销预算配置框架，以应对在线业务中动态环境和复杂决策 - making 过程，支持多种业务约束，可以处理大规模的问题，并在阿里巴巴集团的许多场景中取得了成功的应用，离线实验和在线 A - 内存高效的自适应优化
本文介绍了一种效率高、灵活性强、内存占用少的自适应优化方法，保留了每个参数的自适应性优势，同时允许使用更大的模型和批量大小，具有很好的收敛性和训练效果。
- 基于信赖域的神经网络对抗攻击
基于信任区域的对抗攻击方法对深度神经网络的决策做出了非常有效的攻击，同时在计算攻击扰动的速度上也得到了显著的优化。
- 神经复苏：通过提高计算资源利用率提高深度网络训练
本文旨在研究提高神经网络的计算资源利用率的问题，提出了一种名为 “神经再生” 的优化方法，通过检测死亡神经元，实时计算资源利用情况，重新分配和初始化资源，应用新的训练方案进行重新训练，可大幅提高神经网络的性能，同时保持原有的资源使用情况。
- AAAI大规模任务高效可扩展的多任务回归
提出一种名为 Convex Clustering Multi-Task regression Learning (CCMTL) 的算法，通过在预测模型的 k 近邻图上与凸聚类相结合，并使用新提出的优化方法有效地解决底层凸问题，使得其能够在包 - AAAI抬升的邻域算子机器
提出了一种新的神经网络优化方法，将激活函数转换为等效的邻近算子，通过将邻近算子添加到目标函数作为惩罚项来近似前馈神经网络，称为 LPOM。
- 复杂地形中偏微分方程的统一深度人工神经网络方法
本文利用深度前馈人工神经网络近似求解复杂几何下的偏微分方程，并演示了如何修改反向传播算法来计算网络输出对空间变量的偏导数。此方法基于一种假设解法，只需要前馈神经网络和梯度优化方法，如梯度下降或拟牛顿方法，可以作为网格法无法使用时的有效替代方 - ICCV使用语义理解和协同学习生成个性化的 Cinemagraphs
本研究提出了一种使用物体识别和语义分割作为优化方法的新技术，从视频中自动创建艺术性和语义上有意义的 cinemagraphs，并通过多个实验和用户研究证明了该方法的有效性。
- Sigma Delta 量化网络
引言深度神经网络在处理视频数据时非常浪费，因此我们提出了 Sigma-Delta 网络，使用优化方法将预训练的深度神经网络转换为更加高效的 Sigma-Delta 网络，如果在适当的硬件上运行，可将视频数据处理的计算成本至少降低一个数量级。
- 一种简单实用的有限和加速方法
该研究提出了一种针对小批量优化问题的新优化方法 SAGA，通过引入一种步长参数，在强凸光滑问题上获得了加速收敛率，同时应用于分割算子方法难以解决的许多领域。
- 利用分层抽样加速小批量随机梯度下降
本文提出了一种基于分层抽样策略的随机梯度下降算法，可显著改进收敛速度并在实验中得到验证。
- 大型神经网络浪费容量
该研究发现，一些较大的神经网络在增加容量以减少欠拟合方面失败，这可能是由于训练误差方面容量的收益急剧减少导致的，指出了优化方法（一阶梯度下降）在这种情况下失败。通过直接解决这个问题，可以通过优化方法或参数化选择来改善需要大容量的大型数据集上 - SHALE：一种高效的保底展示广告分配算法
本文研究在保证展示广告中优化分配问题，开发了一种高效，轻量级的生成紧凑的分配计划的方法，该计划本身每个保证合同只使用 O（1）状态，鲁棒性好，可以（证明）几乎最优地提供服务。