- 高维贝叶斯优化离散序列的调查与基准
通过统一的框架和标准化的黑盒函数,针对化学和生物学的实际应用领域,该论文研究了贝叶斯优化的高维优化方法和技术难点,并提供了易于拓展的软件库,以方便实践者更好地应用于离散优化问题。
- ICML分布式高维分位数回归:估计效率与支持恢复
分布式估计和支持恢复在高维线性分位数回归中具有重要意义,本文通过将原始分位数回归转化为最小二乘优化问题,并应用双平滑方法,提出了一种新的分布式方法来解决此类问题,在保证计算和通信效率的同时能够实现接近 Oracle 收敛速度和高支持恢复精度 - 高维贝叶斯优化的期望坐标改进
本研究提出了一种用于高维贝叶斯优化的期望坐标改进准则,该方法通过选择具有最高期望坐标改进值的坐标进行优化,逐渐覆盖所有坐标,从而有效解决了高维贝叶斯优化中凸函数选择的问题,并在数值实验中展现出优于传统贝叶斯优化和五种先进高维贝叶斯优化算法的 - 基于三重 / 无偏 Lasso 的条件平均处理效应的统计推断
研究调查了特定个体因果效应的度量 —— 条件平均处理效应(CATE)的估计和统计推断方法,使用线性模型定义 CATE 为这些线性模型的预期结果之间的差异,并通过高维线性回归方法进行一致性估计和统计推断,进一步使用双重 / 无偏机器学习(DM - 随机梯度下降在玻璃能量地形中恢复高维信号的效果优于梯度下降
使用随机梯度下降(SGD)算法对神经网络进行培训,研究表明 SGD 在优化高维度非凸成本函数方面比梯度下降(GD)算法更为有效。
- ICML隐式神经网络与显式神经网络的等效性:一个高维视角
高维隐式神经网络的理论分析与显式网络之间的联系和差异,构建了对应共轭核和神经切向核的高维等价关系,从而在高维空间中建立了隐式与显式网络之间的等价性。
- 自适应水平集估计的贝叶斯优化感兴趣区域学习
我们研究高维和非稳态情景下的贝叶斯优化。我们提出了一个名为 BALLET 的框架,通过自适应过滤高置信度感兴趣区域(ROI)来解决现有算法在这些情景中通常需要大量超参数调整的问题。我们的方法易于调整,并能够聚焦于可以应用现有贝叶斯优化方法处 - 在存在异常值的情况下,鲁棒性经验风险最小化性能的渐近特征
本文研究高维度的鲁棒线性回归,包括离群值和使用标准损失函数的经验风险最小化(ERMs)方法。结果显示,在相似数据集上,经过最优正则化的 ERM 在大样本复杂性极限下是渐近一致的,但在评估误差方面,由于规范标定的失配,估计器的一致性要求完美计 - 具有自适应后验浓度的贝叶斯稀疏因子模型
本文提出了一种用于高维稀疏因子模型的新贝叶斯推理方法,该方法允许推断因子维数和载荷矩阵的稀疏结构;介绍了一种特定的依赖关系,使得后验分布在保持计算可行性的同时自适应聚焦于正确的因子维度和载荷矩阵的稀疏水平;数值研究表明该方法表现优异。
- 基于 Laplace 的分数阶物理信息神经网络 Laplace-fPINNs 用于解决亚扩散的正向和反向问题
本研究提出了一种称为 Laplace-based fractional physics-informed neural networks (Laplace-fPINNs) 的新方法,通过避免引入大量辅助点和简化损失函数有效解决高维分数扩散方 - CVPR不平衡可视回归的均衡均方误差
本研究在统计学角度重新审视了广泛采用的均方误差(MSE)损失函数,指出它不适用于不平衡回归问题,并提出了一种新的平衡 MSE 损失函数来解决高维度的不平衡回归训练标签分布问题。在多个实际场景中,Balanced MSE 表现卓越,是高维不平 - ICMLPerceiver AR 实现的通用、长上下文自回归建模
使用跨注意力机制构建了 Perceiver AR 机器学习模型,可自动学习高维的图像和音乐数据中的长期依赖关系,并在图像和书籍的测试中取得最优的结果,而无需人为设计稀疏模式或记忆机制。
- CVPRMOS: 针对大型语义空间的扩展分布外检测
本文提出了一种基于组的 OOD 检测框架和一种新颖的 OOD 评分函数 MOS,通过将大语义空间分解成具有相似概念的小组,简化内部与外部数据之间的决策边界,从而使得面对高维度分类空间的场景下,我们的方法比以前的方法更为有效。在四个精心策划的 - 如何计算高维有限元模型中的不变流形及其约化动力学
本文研究了在非线性动力学系统中计算不变流形的方法,利用高维有限元模型和 Lyapunov 子中心流形来解决这个问题。
- 超越径向函数的深度分离
本文通过对深度分离结果的研究,在高维情况下,展示了某些函数可以通过两层神经网络高效近似,但是无法通过单层网络近似,在解决常见的一些函数中出现了限制,并提供了一些方法进行一层网络的高效近似。
- ICML反向受限强化学习
研究使用强化学习智能体从行为演示中学习约束以及将其迁移到具有不同形态和奖励功能的新智能体的方法,建立了能够在高维度完全无模型的情况下学习任意 Markovian 约束的框架,并且该方法与之前的工作相比,在离散设置、特定类型约束和环境转移动力 - ICML通过梯度下降实现高维度鲁棒均值估计
研究高维度的强健均值估计问题,在存在恒定比例的对抗性离群值的情况下,我们显示出这个问题的自然非凸公式可以直接通过梯度下降来解决。
- 正则化在高维噪声高斯混合分类中的作用
研究了高维混合的两个高斯类在噪声条件下的学习,正则化方法可以让分类器达到贝叶斯最优性能,同时分析了正则化程度的影响。
- 高维稀疏二次判别分析的凸优化方法
本文研究高维稀疏二次判别分析 (QDA),旨在建立最优的收敛速率以实现分类误差。我们提出了一种分类算法 SDAR,使用基于稀疏假设下的约束凸优化。该算法的最小化上下界都被得到。模拟研究证明,SDAR 在数值上表现良好。我们还将此方法论扩展到 - 通过迭代滤波进行异常值鲁棒的高维稀疏估计
研究高维稀疏估计任务中的鲁棒性问题,提出使用基于谱技术的迭代式方法消除数据中的离群值,实现高效稳健的稀疏均值估计和稀疏主成分分析。