- 关于潜在扩散变压器 (DiTs) 的统计速率和可证明高效准则
我们研究了在低维线性潜空间假设下, extbf {DiT} 的统计和计算极限。根据渐进的潜空间维度,我们推导了 extbf {DiT} 潜空间网络的逼近误差界,并给出了相应的样本复杂度界限。同时,我们表明从估计的得分函数生成的数据分布收敛于 - ICML高效准确的解释估计与分布压缩
通过内核稀疏获得最佳近似边缘分布数据样本的新范式,Compress Then Explain (CTE),以可忽略的计算开销提升了去除法局部和全局解释的估计,仅需 2-3 倍少的样本量和模型评估。
- 使用主动学习量化本地模型的有效性
通过主动学习减少所需数据量并学习模型错误来获得本地有效性估计,而不是全局指标太不敏感或评估本地有效性成本过高。使用模型验证基准,提供实证证据表明该方法能够在使用相对较少的数据量时生成具有足够辨别性能的错误模型,同时相比于替代方法,对于本地有 - 基于视觉重编程的样本特定掩码
该研究提出一种名为样本特定多通道掩码(SMM)的新型视觉重编程(VR)框架,通过使用轻量级卷积神经网络和面向补丁的插值方法来为每个样本生成样本特定的三通道掩码,以减少目标任务的逼近误差并展示基于预训练模型的潜在知识在不同任务中的广泛适用性。
- ReLU 网络在低正则函数空间中的逼近误差和复杂度界
通过 ReLU 神经网络,我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界,傅里叶特征残差网络是一种使用复指数 - 多层随机特征和神经网络的逼近能力
神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词,论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构,它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核,同时证明了该神经网 - 快速 OMP 用于精确恢复和稀疏逼近
该论文对 Orthogonal Matching Pursuit (OMP) 进行改进,提出了一种快速算法和一种新的选择准则,从而减少信号恢复所需的迭代次数和计算时间,并给出了精确恢复的充分条件及近似误差的界限。
- 分治后验采样用于去噪扩散先验
利用去噪扩散模型(DDM)作为先验来解决逆贝叶斯问题的兴趣最近显著增加。本研究采用不同方法,利用 DDM 先验的特定结构定义了一组中间和简化的后验采样问题,相比以前的方法,降低了近似误差。我们通过使用合成示例和各种图像恢复任务来经验性地展示 - 异常值鲁棒的多元多项式回归
鲍里斯全程鉴定弦扫,变身全员该事宜同异常低精度是样本。
- 在再生核希尔伯特空间中通过杠杆得分采样实现高效数值积分
在本研究中,我们考虑了数值积分的问题,即仅使用对被积函数进行逐点评估的方法,用目标概率测度来近似积分。我们提出了一种有效的程序,利用所给的包含有 n 个独立同分布的观测样本和总体分布密切相关的再现核希尔伯特空间中的积分函数。我们的主要结果是 - 通过交换计算获得不确定性加速广义线性模型
我们介绍了一系列迭代方法,用于计算大规模 Bayesian 广义线性模型(GLMs)中的近似误差,并通过并行计算、信息压缩来提高训练速度并减少计算量。
- 低秩适应的表达能力
使用低秩适应(LoRA)参数有效的微调方法,通过分析其表达能力和近似误差,证明了 LoRA 方法能够将预训练模型适应到较小目标模型,并适用于全连接神经网络和 Transformer 网络。
- 神经网络:深度、浅层,还是中间?
我们对用具有宽度 W、深度 l 和 Lipschitz 激活函数的前馈神经网络的输出来逼近某个 Banach 空间中的紧致子集的误差给出了下界估计。我们证明,除了神经网络,只有当深度 l 趋于无穷大时,才有可能得到比熵数更好的速率,而如果我 - 自适应采样在加速机器学习算法中的应用
巨大数据时代需要高效的机器学习算法,本论文表明,通过使用一种特殊的随机替代品,可以在几乎不降低质量的情况下,代替计算密集型子程序。
- ICLR张量分解中的近似误差对神经网络压缩的信息量有多大?
通过实验研究表明,神经网络张量分解压缩中,权重近似误差与性能误差之间存在正相关性,而基于特征的近似误差并不能明显提高相关性,可以尝试使用不同的分解方法来进行选择和压缩,使用权重近似误差作为指标。
- CVPR重新思考点云法线估计三维曲面拟合中的逼近误差
本文提出使用深度神经网络(DNNs)进行具有较低近似误差的点云法向量估计,其中采用了 Z 方向变换和误差建模作为基本设计原则,并将其与现有最先进的法向量估计方法集成。
- 随机博弈的高效 Q 学习
本文提出了新的高效 Q 学习动态应用于随机博弈,使智能体能够遵循阶段游戏中的对数线性学习动态,通过逐步迭代估计 Q 函数,实现高效平衡,并通过逐渐减小步长的方式使其收敛,同时还研究了 softmax 响应在此过程中产生的近似误差。
- 存在不可分解的共享全局状态时的基于均场控制的多智能体强化学习近似
本文研究了在多智能体强化学习中,基于平均场控制的近似算法可以在存在全局状态的情况下进行有效求解,并提出了基于自然策略梯度算法可以在小样本情况下求解此问题,并得到了接近最优解的策略.
- 通过保守的自然策略梯度原始 - 对偶算法实现约束强化学习的零约束违反
提出一种新颖的 C-NPG-PD 算法以达到全局最优并减少训练样例复杂度,解决了连续状态 - 动作空间下的限制马尔可夫决策过程问题。
- 采用最小最大初始化的虚构对弈
通过策略初始化来减少虚拟博弈中的均衡近似误差,其中最具优势的方法是用 maximin 求解非凸二次规划,与传统方法相比,使用 5 种初始化的情况下,可以将近 75%的近似误差降低。