- 超越训练:通过自适应动作采样优化基于强化学习的工作车间调度
利用经过训练的深度强化学习智能体进行推理的优化参数化方法,该方法通过调整训练好的行为向量,使智能体在解决方案构建过程中更好地探索或开发,进而在有限的计算预算情况下生成更多可接受的解决方案。
- 避免使用 HiPPOs 的长记忆状态空间模型之希望
通过使用 Hankel 算子理论,我们开发了一种名为 HOPE 的新的 LTI 系统参数化方案,使得状态空间模型能够进行随机初始化、提高训练稳定性,并具有非衰减的记忆能力,相比传统的模型,参数更少,并在长序列任务中表现出更好的性能,同时我们 - 没有通用神经元:面向任务的人工神经网络的神经元
人工网络设计可以从基于任务的架构设计到基于任务的神经元设计,采用符号回归和参数化等方法,可以实现竞争性能提升。
- 神经麦克林 - 瓦萨夫过程:扩散过程中的分布依赖
将分布依赖显式地包含在随机微分方程的参数化中对于建模具有交互性的时间数据是有效的,并在维持标准 Itô-SDE 的优越性能的同时,通过 MV-SDE 关联的更丰富的概率流类来进行时间数据的建模。
- 时序轨迹的变分采样
通过明确将过渡函数 f 作为一个函数空间的元素进行参数化,我们介绍了一种学习轨迹分布的机制,该机制使得能够有效合成新的轨迹,同时为推理(如不确定性估计、似然度评估和异常轨迹的分布检测)提供了方便的工具。
- 融合黎曼几何特征学习飞机机翼上的压力分布系数
利用几何理论,我们提出了一种将黎曼几何特征结合到深度学习模型中,以预测机翼表面的压力系数分布,实验结果表明,与最先进的深度注意力网络相比,我们的方法能够将压力系数的预测均方误差平均降低 8.41%。
- 关于参数化的二阶优化方法适用于无限宽度
通过提出一种特定的参数化方式,我们通过一步更新梯度和合适的超参数尺度来提高特征学习的鲁棒性,从而在大规模模型中加速深度神经网络的训练,并实现了更高的泛化性能。
- $ρ$-Diffusion:一种基于扩散的计算物理密度估计框架
提出了一种新方法 —— 密度扩散($
ho$-Diffusion),该方法可以用于物理学中的多维密度估计,并能通过任意数量的感兴趣的物理参数来进行条件建模。
- 稳定的状态空间模型的记忆问题通过稳定的参数化得到缓解
在本文中,我们从参数化的角度研究了状态空间模型(SSMs)的长期记忆学习能力。我们证明了没有进行重新参数化的状态空间模型具有类似于传统循环神经网络的记忆限制:状态空间模型能够稳定逼近的目标关系必须具有指数衰减的记忆。我们的分析将这种 “记忆 - 基于频域的数据集精炼
本文提出了一种新颖的参数化方法,利用频域对大型原始数据集进行数据集提炼,通过频谱变换优化数据实例的频率表示,以在有限的预算内操作并更好地保留原始数据集的信息。此外,通过与现有方法的正交兼容性,验证了该方法在不同基准数据集的评估场景中持续改善 - 量子蒙特卡洛梳理
分子建模在量子级别需要选择一个能够尊重所需粒子对称性并可扩展到多粒子系统的波函数参数化。本文通过引入一种基于排序的新的反对称化层(称为 sortlet),在注意力神经网络骨干上应用该反对称化层,得到了一种灵活的波函数参数化形式,能够在逼近一 - DPM-Solver-v3:改进的扩散 ODE 求解器与经验模型统计
该研究提出了一种新的改进方法,通过最小化高保真图像生成中的采样误差,建立了一种针对传播概率模型的新的快速 ODE 求解器 DPM-Solver-v3,并通过引入一些在预训练模型上高效计算的系数,提高了样本质量。
- 神经隐式表面的参数化的双向变形
本文提出了一种用于神经隐式表面的简单参数化的新型神经算法,以促进可视化和各种编辑任务,并支持多个对象的共同参数化和纹理传递。
- 残差网络中的深度超参数转移:动态和尺度限制
使用深度学习调参中的参数化方法,研究残差网络的超参数如何在不同宽度和深度的网络中传递,并证明实验和理论结果的一致性。
- ICML具有均值 - KL 参数化的最小随机码学习
研究了 MIRACLE 用于压缩变分贝叶斯神经网络的两个变体的定性行为和稳健性。使用均值 - KL 参数化,可以实现精准地控制压缩成本,并且训练更快、预测性能更好、具有更重的尾部和更稳健的压缩权重样本的含义更明确的变分分布,并进一步证明了这 - 应用神经网络分析中子和 X 射线反射率数据:引入先验知识解决相位问题
文章提出了一种使用先验知识规范训练过程的方法,以克服由于缺乏相位信息而导致的‘相位问题’对标准神经网络的限制,并通过利用先验知识来解决此问题,验证了该方法在各种情况下的有效性。
- 利用方差迁移和学习速率自适应增量式生长神经网络加速训练
通过考虑参数化和优化策略对训练动态的影响,我们开发了一种高效增长神经网络的方法,该方法动态稳定权重、激活和梯度缩放,提出一种学习率适应机制来解决不平衡训练问题,并取得了与训练大型固定模型相当或更好的准确性和训练速度加快。
- 线性卷积网络的函数空间和临界点
本文研究了带有一维卷积层的线性网络的几何学问题,描述了网络的体系结构对函数空间的维度、边界和奇异点的影响,并研究了训练带有平方误差损失的网络的优化问题和网络参数化映射的关键点。
- 学习稳定和鲁棒的线性参数时变状态空间模型
该论文介绍了两种线性参数时变状态空间模型的直接参数化方法,确保模型稳定、鲁棒,并且可以使用无约束优化进行模型训练。通过 LPV 识别问题的实例,验证了该方法的有效性。
- 混合交叉口场景下的意图感知决策
本文提出了一种针对行人和自动驾驶汽车在无红绿灯的过街场景中交互的白盒意图感知决策方法,并提供了一个设计框架。作者采用黑盒意图检测和白盒决策的混合方法实现了类人行为和预防死锁,此方法计算量低并能考虑不同的行人行为。