- MCNC：流形约束的网络压缩
通过约束参数空间到预定义和固定的非线性流形，我们提出的 MCNC 模型压缩方法有效地涵盖了这个空间，能在广泛的任务上实现前所未有的压缩率，从而识别高质量解决方案。在计算机视觉和自然语言处理任务的大量实验证明，MCNC 方法在压缩、准确性和 - 揭示黑匣子：用重构熵预测深度神经网络的可训练性
给定神经网络的初始条件，通过在参数空间中重建输入从相邻激活层到单层辅助网络的级联来预测深层前馈神经网络的可训练区域，从而显著降低整体训练时间，并确定信息流动与深度神经网络的可训练性之间的具体联系。
- 无尽参数空间的功利算法配置
通用的功利算法配置是一种自动搜索给定算法的参数空间以优化其在给定输入集上通过给定效用函数度量的性能的技术。最近引入的功利配置过程提供了关于返回的参数化的最优性保证，同时可证明适应了底层问题的困难程度。然而，这些方法的适用范围受到严重限制，因 - ParamReL: 通过渐进式编码贝叶斯流网络学习参数空间表示
使用参数空间中的自编码器学习参数的潜在语义并与 BFNs 集成，以学习参数表征并展示渐进结构，同时通过互信息项促进潜在语义的解耦并捕捉有意义的语义，具备优越的学习参数表示的效果。
- 通过熵正则化扩展均场变分推断的理论与计算
我们提出了一种新的变分推断方法 $\Xi$- 变分推断 ($\Xi$-VI)，通过熵正则化扩展了朴素均值场。$\Xi$-VI 与熵最优输运问题密切相关，并从计算高效的 Sinkhorn 算法中受益。我们展示了 $\Xi$- 变分后验能够有效 - MM神经网络的实际热带几何
考虑一个由两个凸分段线性函数差值定义的二元分类器，其中 ReLU 神经网络的参数空间包含在热带有理函数的参数空间中，我们将该参数空间划分为两个不同的子集：一个由半代数集组成，其决策边界的组合类型固定；一个由多面体扇形组成，捕捉了数据集分割的 - 在主值几何格拉斯曼子流形上的多项式混沌展开用于代理建模与不确定性量化
基于流形学习的替代建模框架，用于高维随机系统的不确定性量化，并利用 Grassmann 流形上的主测地子流形识别潜在参数空间中的不同系统行为。
- 多层次约束优化问题中的随机黑盒模拟器
利用 Scout-Nd 算法进行多维随机约束优化，通过有效估计梯度、降低梯度估计噪声和应用多保真度方案，减少计算工作量，在标准基准测试中验证了该方法的有效性，表现出优于现有方法的性能。
- 超越线性模式连通性：逐层线性特征连通性
本文主要研究神经网络训练过程中的参数空间和特征映射，提出了一种新的线性连接概念 LLFC 并进行了广泛的经验分析。对 LMC 的深入研究揭示了新的有关生成和置换方法的因素，从已训练的网络的每个层的特征映射的角度推进了对 LMC 的理解。
- 可约双曲正切网络的功能等价性与路径连通性
本文对单隐藏层双曲正切架构神经网络的单位冗余和可约等价类进行了算法描述，并表明这种功能等价类是分段线性路径连接的集合。
- 深入研究：利用平坦性提前停止对抗样本的可转移性
该论文研究了对抗样本在不同模型间的可转移性问题，并发现早期停止训练可以提高可转移性，并提出了一种新方法 RFN，通过最小化损失的尖锐度来最大化可转移性。
- 自主驾驶中基于动作序列的关键情景探索
该论文提出了一种基于强化学习和 ECSAS 框架的描述语言 BTScenario 的关键操作参数搜索方法，以提高危急情景生成的效率，并在多种复杂情景中证明了其优越性。
- ICML通过重量区间约束保证的连续学习
本文提出了一种新的训练范式，它在神经网络参数空间上引入区间约束以控制遗忘。我们提出了 Hyperrectangle Training，这是一种新的训练方法，其中每个任务都用参数空间中的超矩形表示，完全包含在先前任务的超矩形中，有效地模拟超矩 - ResLT: 面向长尾识别的残差学习
本研究提出通过保留特定类别低频率的能力，并设计了一种有效的残差融合机制来缓解极不平衡数据分布的深度学习算法应用长尾数据分布时普遍存在的问题，通过在参数空间的角度来解决长尾识别问题，并在多个基准数据集上进行了测试，证明了方法的有效性。
- 物理信息神经网络的主动训练，以汇集和插值纳维 - 斯托克斯方程的参数化解
本研究旨在训练一个神经网络，该网络通过在参数空间内逼近纳维尔 - 斯托克斯方程的解，其中参数定义了物理属性，如域的形状和边界条件。本研究的三大贡献为：1）演示神经网络可以高效地聚合整个参数族的物理问题的解，使用传统的经验数值方法生成的数据进 - ACL使用伪标记和不同向量的单模型集成
本文提出了一种使用单一模型来复制模型集成效果的方法，通过使用虚拟模型和不同向量的伪标记来创造 K 个虚拟模型，实验证明该方法可以在文本分类等任务中与传统模型集成相当或更好的性能，同时参数量减少了 1/K。
- 微调可以有多精细？学习高效语言模型
通过使用 BERT 来验证，文章研究了当使用大规模未标注文本语料库进行预训练的语言模型进行轻量级有监督微调以学习任务时，微调只在参数空间中引入了轻微的差异，可以通过对预训练参数的某些层的特定数量的条目设置为零来达到对巨大语言模型的精细调节， - 贝叶斯深度学习的子空间推断
本文提出了一种构建参数空间低维子空间的方法，并在这些子空间中应用椭圆切片采样和变分推断的贝叶斯模型平均方法，以产生准确的预测和良好的预测不确定性。
- ACL神经网络中组合性实现
本文详细比较了两种序列模型在试图解决合成任务时的差别，通过更多的监督信号，辅助注意机制，参数空间和隐藏层激活机制的不同，发现具有引导性的网络在识别更组合解决方案方面具有更高的效率，并且展现出更加模块化的神经元特点。
- 基于策略梯度的可扩展集中化深度多智体强化学习
探索使用强化学习解决多智能体问题，将多智能体强化学习问题视为分布式优化问题处理，假设多智能体群体中每个智能体的策略在参数空间中相近且可以用单一策略代替，结果表明该算法在协作和竞争任务上比现有方法更加有效。