- 噪声凸型零阶优化的简化改进算法
通过噪声、凸性和零阶优化等概念,研究在有界凸集合中的一类函数的优化问题,我们提出了一个基于质心方法的改进算法,证明其相对于最小值的差距的阶数小于 d^2/√n,且比现有文献中已知的 d^{2.5}/√n 的速度更快,并且更简化。
- 深度神经网络解决方案是否形成星型空间?
该研究提出了一种新的算法 ——Starlight 算法,该算法可以找到给定学习任务的星型模型,并验证星型模型与其他独立找到的解之间的线性连接。此外,研究表明星型模型可以提供更好的贝叶斯模型平均的不确定性估计。
- 稀疏线性质心编码器:一种特征选择的凸方法
本研究提出了一种新颖的特征选择技术,称为稀疏线性质心编码器(SLCE),它使用线性变换重构点,同时使用 l1 范数惩罚去除输入数据中不必要的特征,并通过凸优化问题解决方案该问题。我们通过实证分析表明,SLCE 在各种数据集上促进了稀疏性。与 - ACLConVEx: 数据高效率的、小样本插槽标注
我们提出了 ConVEx(面向对话任务的槽标记对话值提取器),通过 Reddit 数据上的新颖成对填空任务的预训练目标,实现序列标记任务的领域特定槽标记器的学习,并在保持预训练模型的大多数参数固定不变的情况下,仅通过微调预训练的通用序列标记 - 差分隐私后处理的偏差和方差
本文首次研究了 post-processing 在差分隐私保护中的性质,尤其在人口普查数据发布中的应用,并从此理论和经验上探讨了广泛采用的一类 post-processing 函数的行为。
- 梯度下降遵循普通损失的正则化路径
本论文研究了机器学习中隐含的偏差及其对应的正则化解,并且根据理论证明我们使用的指数型损失函数的正则化效果,可达到最大保边缘的方向,相应的其他损失函数可能会导致收敛于边缘较差的方向。
- ICML梯度下降找到深度神经网络的全局最小值
通过分析神经网络架构的格拉姆矩阵的结构,证明了梯度下降法在针对深度超参数神经网络 ResNet 的多项式时间内实现零训练损失,并且进一步将该分析扩展到了深度残差卷积神经网络并获得了类似的收敛结果。
- MM最大化障碍物补集的基频率
研究了在满足 Hayman 型不对称条件的边界内限制在障碍物上的第一 Dirichlet 本征值的上界,并讨论了第一 Dirichlet 基态的分布及在凸障碍物上的情况.
- 连续非线性资源分配问题的算法 —— 新实现和数值研究
本文对单一资源约束下连续可分可微凸资源分配问题进行了最新的整理与扩展,包括 20 多本书籍和文章;还对算法进行了改进,并对多种松弛(主元)和断点(对偶)算法进行了数值评估,得出算法较好的结论。
- Dropout 的归纳偏差分析
该研究论文探讨了 dropout 作为一种正则化技术在线性分类问题中的应用。通过比较不同正则化技术的表现,研究人员得出一些结论并分析了 dropout 的优势所在。
- 块随机梯度迭代用于凸和非凸优化
本文介绍了一种将 Stochastic Gradient 和 Block Coordinate Descent 结合的方法,名为 Block Stochastic Gradient,它可以解决包含多个变量块的目标函数的优化问题,无论是凸优化 - 学习子高斯分类:上界和极小极大值
研究在回归模型中,假设目标 Y 和模型 F 都是亚高斯的情况下,针对经验风险最小化程序的尖锐的预言不等式,如果 F 是凸的,则我们得到的界限在极小值意义上是尖锐的。此外,在对 F 的温和假设下,即使允许程序以常定概率执行,ERM 的错误率仍 - 共轭态的保真度和相干度
本文研究了传递概率和纠缠的性质,发现在密度算符的共轭对中,这些函数是凸的或凹的,并构造了最优分解。