theoretical understanding | BriefGPT

关键词theoretical understanding

搜索结果 - 7

关于损失函数和误差累积在基于模型的强化学习中的注释
模型驱动的强化学习在深度强化学习领域的理论理解上有一些困惑。本研究讨论的主要问题是如何解决模型驱动强化学习在错误叠加上的不良经验与其优越的理论性质之间的矛盾，以及经验上流行算法的局限性。通过构造具体反例，证明了 “MuZero loss”
PDF3 months ago
关于正则化 NTK 动态的一点说明及其在 PAC-Bayesian 训练中的应用
建立了神经网络的显式动力学，其中训练目标包含了对参数保持接近初始值的限制，从而使网络保持在惰性训练状态，从而可以在线性化初始状态下的动力学。标准的神经切线核（NTK）控制训练期间的演变，尽管正则化会在描述动力学的微分方程中产生额外的项。该设
PDF7 months ago
MAST：模型无关稀疏化训练
引入了一种新的优化问题形式，与传统的最小化机器学习模型损失的黑盒函数的方式不同。通过明确地纳入最初预训练模型和随机草图运算符，允许在训练过程中对模型和梯度进行稀疏化。本研究提出的目标函数具有深刻的性质，并强调其与标准算法的联系。同时，还介绍
PDF7 months ago
基于渐变的训练免费神经结构搜索的统一和增强
本文提出了一个统一的理论分析框架来研究基于梯度的免训练神经构架搜索方法，从而理论上研究它们之间的关系、保证它们的泛化性能并开发一种名为 Hybrid NAS (HNAS) 的新框架，它在原则上可以持续提高训练免费 NAS 的效果。
PDF2 years ago
AAAI针对超出分布检测的可证明保障
本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。
PDF3 years ago
通过非对比自我监督实现对表征学习的揭秘
我们的研究表明，非对比自监督学习方法可以通过学习理想的投影矩阵来降低下游任务的样本复杂度，并且我们还设计了一个更简单、更高效的算法 DirectCopy，其可以成功地应用于 STL-10、CIFAR-10、CIFAR-100 和 Image
PDF3 years ago
基于元模型的元策略优化
本文通过将 Janner 等人 (2019) 提出的定理扩展，分析了基于模型的元强化学习方法的性能保证，并提出了具有性能保证的 Meta-Model-Based Meta-Policy Optimization (M3PO)，证明 M3PO
PDF4 years ago