- 分组与混洗:高效结构正交参数化
在本研究中,我们引入了一类新的结构化矩阵,统一并推广了之前工作中的结构化类,以进一步改进参数和计算效率。我们还将这种参数化方法用于修改正交微调框架,在不同领域进行了实证验证,包括文本与图像扩散模型的自适应和语言建模中的下游任务微调。此外,我 - 模拟中的 LLM 实验:用于数字孪生中的过程仿真参数化的大型语言模型多主体系统
本文介绍了一种新颖的多智能体系统框架设计,利用大型语言模型(LLM)自动化数字孪生中的过程模拟参数化。我们提出了一个多智能体框架,包括观测、推理、决策和总结四种类型的智能体。通过启用 LLM 智能体与模拟模型之间的动态交互,该系统可以自动探 - 历史天文图解的几何基元分解
从历史手稿中自动提取几十万个图表中的几何内容将使历史学家能够在全球范围内研究天文知识的传播。我们提供了一个独特的数据集,包含 303 个来自不同传统的天文图表,从 12 世纪到 18 世纪,注释了 3000 多个线段、圆和弧。我们还开发了一 - 神经 Sinkhorn 梯度流
我们提出了神经 Sinkhorn 梯度流(NSGF)模型,该模型使用神经网络来逼近底层 Wasserstein 梯度流的一部分,通过 Sinkhorn 分歧到目标分布的时间变化速度场的参数化,利用速度场匹配训练方案进行样本估计。理论分析表明 - 基于多智能体强化学习的大气和海洋湍流参数化的极端事件预测
通过使用 SMARL 和湍流物理的基本原理,仅使用几个高保真样本进行了训练,并针对大气和海洋湍流的原型学习了闭合模型,结果表明 SMARL 在 GCMs 的闭合建模方面具有高潜力,尤其是在数据稀缺和间接观测的情况下。
- 平滑优化在稀疏正则化中的广泛框架:利用哈达玛过度参数化
基于稀疏性的参数化的非平滑正则化方法在优化问题中引入了平滑性,通过数值实验验证了该方法性能与常用的凸和非凸正则化方法相当甚至更好。
- 基于元黑盒优化的注意力遗传算法发现
本文提出了一种基于数据驱动和灵活参数化的方法来发现全新的遗传算法,在各种优化任务上性能优于现有的自适应基线遗传算法,并且具有很强的泛化能力。通过对发现的运算符进行广泛的分析和消融实验,证明其参数化灵活性和可以将学到的运算符传递给传统的遗传算 - 可变形尺度的转置卷积
本文介绍了一种新的层用于选择性地在图像中放置信息,并选择图像合成的笔划宽度。方法利用了三个想法:首先,回归推断出转置卷积结果的位置偏移量;其次,将偏移位置权重广播到可学习的邻域;第三,利用紧凑参数化共享权重和限制偏移量。最终结果表明,该方法 - MM变分量子机器学习中的对称性利用
本研究探讨了如何利用问题的对称性构建量子学习模型,并提出了一种通过门对称化将标准门集转换为等变门集的方法,在具有对称性结构的变分问题中得到了应用。
- ICML无限宽神经网络中的特征学习
研究表明,标准和 NTK 参数化的神经网络不能学习特征,这对于预训练和转移学习至关重要。通过修改标准参数化,使用 Tensor Programs 技术,我们计算了神经网络的极限,并发现其表现优于 NTK 基线和有限宽网络。
- 3D 多体:将一组可信的三维人体模型拟合到模糊的图像数据上
研究单视图和部分遮挡视图下获取人体的密集三维重建问题,建议通过合适的三维模型参数化人体形状和姿势,学习一种多假设神经网络回归器,约束每个假设位于合理人体姿势的流形上,并且在标准 3D 人体基准和重度遮挡版本中,该方法表现出优异的处理模糊姿态 - ICLR混合精度 DNNs:只需良好参数化
本文提出一种不同的量化方法,使用不同的参数化方法来训练深度神经网络,从而达到更高效深度神经网络推理的效果。通过多组实验验证,使用该方法训练得到的量化参数可以达到最佳效果。
- 通过粗粒化训练的神经网络参数化的空间扩展测试
本篇文章研究如何使用神经网络对大气环流系统的参数进行建模,从而更精确地预测系统的状态。
- 神经网络中的廉价正交约束:正交和幺正群的简单参数化
本文提出了一种基于 Lie 群理论的指数映射参数化方法,将带有正交和酉约束的优化问题转化为欧几里德空间上的无约束问题,并在 RNN 中得到了应用,改进了正交约束优化问题的稳定性和收敛速度。
- 多核局部块描述符
提出一种基于多核局部块描述符的有效匹配核的图像特征提取方法,该方法采用的两种梯度参数化包括了参数极向型与参数笛卡尔型,提供了对于不同类型补丁匹配失配的鲁棒性,并在两个局部补丁基准测试上优于现有的方法。
- 连续可微的指数线性单元
本文提出了一种 ELU 的可替代参数化方法,具有较原有参数化方法不具备的有用属性,易于操作和调整,是一种用于构建深度学习架构的有价值的整流器。
- WWW线性可加马尔科夫过程
本文介绍了一种新型的线性加性马尔可夫过程 LAMP,并在理论上对其稳态和混合时间进行了分析,同时提出了一种基于交替极小化的算法来从数据中学习 LAMP 模型。实验结果表明,LAMP 模型不仅比一阶马尔可夫模型更有效,甚至在参数复杂度几乎不增 - 在流形上进行优化以识别完全物理一致的惯性参数
本文提出了一种新的条件,即完全物理一致性,用于确定一组惯性参数是否可由物理刚体生成;提出的条件保证三维惯性矩阵的正定性和三角不等式。本文还提出了一种新的参数化方法,自然保证惯性参数完全符合物理一致性。利用该参数化方法,将惯性识别问题重新表示 - AAAI利用 u (n) 辅助学习幺正算子
本论文研究了使用可定义为 Lie 代数与 Lie 群相关联的单位矩阵组 U (n) 来描述参数化单元操作符,并通过 Lie 代数的基础定义了一个由 n^2 个实系数组成的单位矩阵空间,以解决循环神经网络训练中的梯度消失或爆炸问题。研究表明, - 非线性正常模的谱特性
本文探讨了非线性正常模 (NNMs) 和 Koopman 算子的特定本征函数的零级集之间存在的关系,建立了一种新的不受折叠影响的不变流形全局参数化方法。通过一个双自由度立体非线性结构的系统,说明了提出的方法。