- 关于扰动 - Softmax 和扰动 - Argmax 概率分布的统计表示特性
通过对凸性和可微性的研究，我们探索了 Gumbel-Softmax 和 Gumbel-Argmax 概率分布模型的统计条件，并将这种框架扩展到高斯 - Softmax 和高斯 - Argmax 等通用概率模型，最终得出两组参数满足这些假设并 - 基于超梯度的双层强化学习方法并避免较低级别的凸性
通过使用与规则化 RL 相关的固定点方程，我们以全一阶信息表征超梯度，从而回避了对低级凸性的假设，并提出了基于模型和无模型的双层强化学习算法，都被证明具有收敛速度 O (ε^(-1))。
- 关于一些推前约束的非凸性及其在机器学习中的影响
通过推限操作，可以通过确定性映射重新分配概率度量，从而在统计学和优化中发挥着关键作用。本文旨在填补相关领域（最优传输、生成模型和算法公平性等）中关于这些约束的凸性（非凸性）及其对相关学习问题的影响的缺乏理论洞察力的现状。
- 折扣自适应在线预测
在线学习不仅仅是记住一切。通过使用自适应在线学习中近期开发的技术重新审视折扣遗憾的经典概念，我们提出了一个能够优雅地在新数据到达时遗忘历史的关键算法，改进了传统的非自适应算法，即使用固定学习率的梯度下降算法。具体而言，我们的理论保证不需要任 - 输入凸神经网络的基本权重初始化
输入凸性神经网络（ICNN）是能够保证输入 - 输出映射凸性的网络。本文通过对非负权重层的信号传播研究，推导出一种基于原理的 ICNN 权重初始化方法，实验证明这种初始方法有效加速了 ICNN 的学习和提高了泛化性能。此外，ICNN 还被应 - Sig-Splines: 时间序列生成模型的通用逼近和凸校准
我们提出了一种新颖的生成模型，用于多变量离散时间序列数据。该算法以神经样条流的构造为灵感，将线性变换和特征变换作为对传统神经网络的无缝替代。这种方法不仅实现了神经网络固有的通用性特性，还引入了模型参数的凸性。
- 深度网络表示中的凸概念区域
本文探讨了测量人 - 机器对齐中机器学习的潜在空间中概念凸性的方法，并在多个应用领域的深度神经网络中评估了这种_convexity_。研究表明，类标签区域的预训练凸性预测了随后的微调表现。
- MM海量 IoT 网络中无授权 NOMA 的活动检测
研究了无授权传输范例在物联网网络上的应用，并通过深度学习方法的卷积神经网络实现设备的活动检测，以优化传输性能。
- 参数凸神经网络
该研究提出了一种基于指数多层神经网络的凸优化深度神经网络，成功地实现了对凸性的控制，并在图像分类任务中表现出了优于传统方法的性能。
- 优化中的可重复性：理论框架与限制
本文研究了优化过程中的可重复性问题，定义了一个量化的可重复性度量方法并对于凸函数进行了分析，发现在计算和可重复性之间存在根本性的权衡关系。
- 非凸随机优化中重尾的高概率界限
本研究讨论了使用第一阶梯度算法进行的非凸随机优化问题，其中梯度估计可能具有重尾特征，结果表明梯度剪裁，动量和归一化梯度下降的组合可以在高概率下收敛于关键点，特别适用于光滑损失的已知最佳速率，适用于任意光滑度规范，并针对克服该领域二阶光滑损失 - 走出 “回音壁”：优化表现风险
本文探讨了 performative prediction 的问题，基于特定的损失函数和模型诱导的分布位移性质进行优化，从而实现风险凸优化，并且比通用导数优化方法具有更好的样本效率。
- 非凸与凸元学习的样本复杂度分离
这篇论文通过构造一个简单的元学习实例来探讨优化轨迹对元学习成功的作用，对线性回归实例的凸和非凸问题进行了深入分析，并发现在非凸问题中，Reptile 和多任务表示学习有重要的应用，且它们能够 meta-learn 正确的子空间。
- 平滑极小极大优化的高效算法
本文研究解决平滑最小最大优化问题的一阶方法，其中 g (x,y) 是平滑的且 g (x,・) 对于每个 x 均为凹性。对于 g (・，y)，我们考虑两种情况 —— 强凸性和非凸性 —— 并在两种情况下改进了已知最佳速率。
- 交替最小化和 Nesterov 动量方法的组合
本文提出一种结合 Alternating minimization（AM）和 Nesterov's acceleration 的自适应加速交替最小化算法，可用于解决具有凸性和非凸性的优化问题，同时不需要任何有关问题的凸性或函数参数等知识。通 - 带有凸代价函数的结构化 MDP 学习：改进的库存管理遗憾界限
设计了一种学习算法来解决一个基本库存管理中未知需求分布的问题，使用基本库存策略的下限和凸性等属性来建立与随机凸臂优化的联系，极大地提高了此问题的已知后悔上限。
- ICML高瑞德区间：走向更好的神经网络损失函数景观理解
通过在低维度的超平面和超球面上评估代价函数的海森矩阵，我们发现全连接神经网络和卷积神经网络的代价函数在它们的空间参数半径较大的固定范围内，具有异常的凸性和正曲率，此处我们称之为 “金发姑娘区间”，该效应与神经元网络的初始化方法，包括公共初始 - 随机次梯度法收敛于温顺函数
通过研究随机子梯度方法在无光滑性和凸性情况下的收敛性，证明了在任何半代数局部 Lipschitz 函数中，随机子梯度方法产生的极限点都是一阶稳定的，特别地，这项工作为随机子梯度方法及其近端扩展在数据科学中应用的各种问题，包括所有流行的深度学 - 一个替代观点：随机梯度下降在何时逃离局部极小值？
本文研究证明随机梯度下降算法可以在一些非凸函数下工作，这说明了为什么 SGD 在神经网络中工作得非常好。
- NIPS通过谱滤波学习线性动态系统
本文介绍了一种有效且实用的在线预测离散线性动态系统的算法，通过过参数化多项式对 LDS 的类别进行替代的方式，以获得损失函数的凸性，从而绕过了非凸最优化问题，并基于一种新颖的滤波技术进行了算法的构建。