- 在上下文嵌入中定位语言特定信息
本研究旨在了解多语言预训练语言模型(MPLMs)在不受监督学习方式下与其多语性之间的关系,指出 MPLMs 的表示是否是语言无关的或与学习任务预测头相互交错,同时,我们定位了 MPLM 中的语言特定信息,并确定其维度和发生这些信息的层次,以 - 隐私学习子空间
该研究探讨了差分隐私算法如何应用于低维线性子空间,以发现数据的低维结构并尽可能避免在隐私或准确性方面的代价。
- 表征至关重要:提高机器人感知和探索能力
本文在三个机器人任务中系统评估了多种常见的学习和手工工程化表示方法,并从三个方面对每种表现方法进行评估,即维度,可观测性和分离度,发现在输入代理或作为辅助任务的情况下,可以显著提高性能,并挑战了什么是控制机器人 ' 好' 表示的见解。
- 投影式斯坦变分梯度下降
该研究提出一种基于投影斯坦变分梯度下降(pSVGD)方法,通过利用参数投影的低维系数,克服了贝叶斯推断中维度灾难的长期挑战,并在参数维度范围从数百到数万个的实验中证明了其准确性和效率。
- 无梯度下降:高维零阶优化
该论文提出了两种简单但强大的无梯度估计的梯度下降(GLD)算法,并从一种新的几何视角进行分析,展示了其具有收敛性的优势,并且能够在保证单调变换不变的情况下,利用低的潜在维数来实现优化,对 BBOB 和 MuJoCo 基准测试产生了良好的实证 - 贝叶斯 / 信息论偏差学习模型
本文从贝叶斯角度探讨了在相关任务环境下学习适当的偏差问题,并展示了环境的概念是自然地模拟了任务的目标先验分布。本文论证了对于许多常见的机器学习问题,虽然我们不知道问题的真正(客观)先验分布,但我们可以对真正的先验分布可能属于的一组可能的先验 - 通用浅层神经网络的维度无关界限
本文以一种抽象的定理为基础,证明了解决函数逼近中避免维数噪声以及用于流形学习的样本外推的逼近度的两个问题。作者建立了一种浅层网络和深度网络的模型来证明这个定理,并给出了应用案例。
- 通过可视化理解泛化
本研究探讨神经网络的泛化能力及其背后的原因,通过可视化方法探寻损失景观的几何形状和高维度导致的最优化问题,旨在更加直观地解释泛化现象。
- ICML黑盒函数的逐步优化
本论文提出了一种新的方法,利用估计梯度来逐渐自适应地优化机器学习中的未知函数,并验证了该方法在低维和高维问题上的实验性能,证明了在调整高维超参数时我们的方法的优越性。
- 深度神经网络中的降维压缩和扩展
本研究发现神经网络可以学习较低维度的流形,从而在高维数据空间中分解数据,同时又能取得良好的泛化性能,重点关注降维和流形的内在维度等方面。
- 如何使用高度稀疏的表现形式获益?
本文发现,尽管目前大多数人工神经网络都采用密集表示,然而生物神经网络却采用稀疏表示。我们研究发现,只要稀疏表示的维度足够高,那么这种表示在噪声和干扰方面会更加稳健。同时,我们还提出了一个关键的洞察力,即围绕稀疏向量的可操作体积与表示空间体积 - 大规模多类别分类的高效原始 - 对偶算法
本文介绍了如何使用随机镜像下降法和非均匀采样方案,来快速训练高维度特征空间、多分类通用的线性分类器,特别是在多类 Hinge 损失下,本文提出了一个迭代次数为 $O (d+n+k)$ 的子线性算法。
- 参数空间和动作空间的对比探索:零阶优化视角
研究黑盒优化器,比较其在参数空间探索和动作空间探索两个方面的优势和劣势,并通过理论分析和多个问题的实际测试,证明了参数空间探索的复杂度取决于参数空间的维度,而动作空间的探索复杂度取决于动作空间和时间维度。
- 利用 Fisher 可分析性估算大型生物数据集的有效维度
通过分析数据点的可分离性,我们测试了一种最近引入的维数估计器,该估计器在多个基准测试和真实生物数据集上具有与最先进的度量相竞争的性能,并允许在内在嵌入假设不成立的情况下估计内在维数。
- 词嵌入的维度性
通过提出 Pairwise Inner Product (PIP) loss 提出了一种新的度量词嵌入非相似性的方法,并使用矩阵摄动理论揭示了词嵌入维度选择中的基本偏差 - 方差权衡,同时阐明了词嵌入过度拟合的鲁棒性。
- 生成网络中的尺寸 - 噪声权衡
本文研究了基于生成网络将其输入噪声分布转换为其他分布的能力,提出通过实现一个基于迭代帐篷映射的 “填充空间” 函数来增加 ReLU 网络的噪声分布维数,使用泰勒级数逼近和二分搜索工具来计算函数反,从而提供了通过少量节点快速传递单变量均匀和正 - ICML基于维度驱动的标签噪声学习
本文提出了一种新的视角 —— 通过研究训练样本的深度表示子空间的维数,来理解在具有大量错误类标的数据集上训练准确的深度神经网络(DNNs)的普适性。根据这一发现,作者开发了一种新的维度驱动型学习策略,该策略在训练过程中监测子空间的维度并相应 - NIPS潜在维度聚类
本文提出了一种称为渐进聚类的新技术,它将每个数据点通过其潜在的点维度进行聚类,该点维度是与该点本地数据集的维度有关的尺度。这种渐进聚类技术可以广泛应用于各种数据集的分析中,并通过距离方法以点的第 n 个最近邻点来评估数据点的点维度,同时将其 - Laguerre-Gaussian 模式分拣器
我们展示了一种新颖的单空间光调制器和反射镜组成的简单设备,实现了将有限光束分解成多个包含单一正交空间分量的高斯光斑的笛卡尔网格,并同时分解了方位和半径成分,其中包含超过 210 种空间成分,该设备也是任何类型的模式多路复用器中维度最高的。
- 理解向量嵌入的功能性和维度性:分布假设、成对内积误差及其偏差 - 方差权衡
本文提出了一个理论框架,以理解维度对向量嵌入的影响,并提出了 Pairwise Inner Product(PIP)loss,它是一种基于向量嵌入相似度的齐次不变量度量,用于捕捉向量嵌入之间的功能差异和维度的选择偏差 - 方差权衡问题,并发