- TabuLa: 利用语言模型进行表格数据合成
通过提出 Tabula,使用语言模型结构的表格数据合成器,我们揭示了使用为自然语言处理设计的预训练语言模型在表格数据合成领域的内在局限性,并通过一种令人满意的基础模型开展了针对表格数据合成的专用基础模型的研发。此外,我们提出了一种令牌序列压 - 带有 ReLU,leaky ReLU 和 softplus 激活函数的深度神经网络能够在 $L^p$ 意义下,证明地克服 Kolmogorov 偏微分方程中具有 Lipschitz 非线性的维数灾难
深度学习方法在逼近高维偏微分方程方面的研究,尤其是通过神经网络和活化函数的选择,可以有效地克服维数诅咒,并能够在多项式时间内以任意精度逼近解,为解决偏微分方程提供了广泛应用的前景。
- 噪声增强 Boruta:与 Boruta 特征选择相融合的神经网络扰动
本文介绍了一种改进的 Boruta 特征选择算法,通过将噪声引入到影子变量中,以期提高特征选择的准确性。在四个公开的基准数据集上进行了严格测试,结果显示该算法优于经典的 Boruta 算法,凸显了其提高准确特征选择能力的潜力。
- 切比雪夫粒子
Markov 链蒙特卡洛 (MCMC) 是推断隐藏马尔可夫模型的可行方法,但由于参数空间中蒙特卡洛采样器在不确定区域内随机采取小步骤,受维度诅咒的约束往往导致计算上的限制。我们首次将目标的后验分布视为样本在无限维欧几里得空间中的映射,其中嵌 - 利用物理信息化神经网络计算高维空间的最小曲面
通过物理相关神经网络 (Physics-Informed Neural Network,PINN) 对高维偏微分方程(Partial Differential Equation,PDE)进行训练,实现了对极小曲面的数值逼近,避免了维度灾难问 - 从连续时间公式到离散化方案:张量列车和强健回归用于 BSDEs 和抛物型 PDEs
数值逼近偏微分方程在高维度上面临巨大挑战,因为传统的基于网格的方法受到维度灾难的困扰。最近的尝试依赖于蒙特卡罗方法和变分公式的结合,使用神经网络进行函数逼近。本文在前人工作的基础上,认为张量网络为抛物型偏微分方程提供了一个吸引人的框架:在反 - 针对核范围空间,查询常数数量即可
介绍了核范围空间的 ε- 覆盖概念,研究了它在数据分析中的作用和在高维机器学习中的降维效果,并证明了基于核范围空间的 ε- 覆盖大小不受输入维度和大小的影响,从而揭示了松弛的边界范围查询概念能够消除维度诅咒的奥秘。
- 运算符学习中的维数诅咒
论文证明了对于 $C^r$- 或 Lipschitz - 正则性唯一确定的一般类算子而言,算子学习存在维度灾难,但是解决 Hamilton-Jacobi 方程定义的解算子的一般维度灾难问题时可以利用底层解算子的附加结构,引入了一种新的神经算 - 通过动作空间分组实现样本和计算高效的强化学习
本文提出了一种解决高维情况下强化学习中的状态和行动指数级增长问题的方法:通过学习具有动作上相似的马尔可夫决策过程的内在结构,以适当平衡性能退化与样本 / 计算复杂度之间的关系,并提出了一种基于线性分解模型的分组策略以最小化总体性能损失。
- 非参数视角分配预测的高光谱图像半监督学习
本研究提出了一种半监督深度自监督预训练方法来解决高光谱图像分类中存在的维度灾难和对大量样本数据需求的问题,通过伪标签来加强半监督训练效果,实验结果表明该方法优于自监督和监督方法。
- (正则化的)Wasserstein 鲁棒分布模型精确泛化保证
本研究表明,Wasserstein 分布鲁棒估计器的推广保证其可适用于一般模型类,并且不会受到维度诅咒,甚至可以涵盖测试中的分布偏移,这些结果可以延伸到新引入的 Wasserstein 分布性机器学习问题的正则化版本。
- 通过鲁棒性选择特征以应对维度灾难
提出了一种新方法,该方法根据内在维度的计算,选择可区分数据子集的特征,有助于降低高维度和特征选择的困扰。实验证明该方法优于传统方法,并可在含数百万个数据点的数据集上应用。
- 使用收缩深度特征和最大积分熵减少的方法进行高维产量估计
本研究提出了一种名为 ASDK 的技术,它自动识别非线性关联的深度内核中的显著过程变异参数,并作为替代模型来模拟昂贵的 SPICE 模拟,以解决现代大规模电路中不可避免的维度诅咒问题,并进一步提高器件产出率估计效率。该方法的实验结果表明,其 - 稀疏分布数据中是否可以避免维数灾难采用类何比学习规则?
本文探讨了大脑如何使用 Hebbian 学习规则来避免高维稀疏分布表示的 “维度灾难” 问题,并使用特定的稀疏数据集来证实使用 Restricted Boltzmann Machines 分类器的好处。
- ICML深度学习中的协同和对称性:数据、模型和推理算法之间的相互作用
本文通过对深度学习的数据(D)、模型(M)和推理算法(I)进行联合分析,提出了解决高维数据下维数灾难的关键协同作用,其中深度学习的网络结构对数据分布的对称性要求最高。
- ICML双采样随机平滑
提出了一种基于双重采样的随机平滑框架 (DSRS) 来提高神经网络模型的鲁棒性,并证明了其可以克服高维度数据集下现有随机平滑算法的 “维数诅咒”,实验表明 DSRS 可以在不同情况下比现有基准证明更大的鲁棒半径。
- 通过核函数逼近寻找全局最小值
本文探讨了一种基于函数评估的平滑函数全局最小化方法,通过使用无穷次平方平滑函数之和联合建模函数以逼近并寻找全局最小值,在时间多项式子采样的情况下,该方法的计算复杂性为 $O (n^{3.5})$,空间复杂性为 $O (n^2)$,并可以实现 - 神经网络何时强于核方法?
在某种随机梯度下降初始化的情况下,神经网络可被再现核希尔伯特空间方法良好逼近用于某些分类任务。在特殊情况下,通过学习最佳低维表示,神经网络可胜过再现核希尔伯特空间方法,证明了神经网络比再现核希尔伯特空间方法更适合维度严重受限的特殊分类任务。
- FLAMBE: 低秩 MDPs 的结构复杂度和表示学习
研究了强化学习中维数诅咒的问题,提出了一种学习表示的方法,并将其与特定的非线性矩阵分解问题联系起来,并通过算法 FLAMBE 实现了有效的低秩转移模型下的探索和表示学习。
- 用神经网络高效逼近高维函数
该研究论文提出了一个基于目录网络的框架,证明了神经网络可以克服高维近似问题中的维数灾难,特别是通过修正线性单元类型的网络,实现了更高效的逼近效果,从而解决了该问题。