群体参数平均化（PAPA）
贝叶斯神经网络通过学习模型参数的后验分布来解决认知不确定性问题。使用该后验进行抽样和加权网络，从而形成一个被称为贝叶斯集合的集合模型。相对于个别网络，深度集合可以受益于误差抵消效应，提高预测性能。本文论证了贝叶斯集合的抽样和加权方法并不适合增加泛化性能，因为它们无法实现误差抵消效应。相反，通过优化 PAC-Bayesian 泛化约束得到模型的加权平均值可以提高泛化性能。这种加权方法需要考虑模型之间的相关性，可以通过最小化串级损失来实现。PAC-Bayesian 加权方法增强了对相关模型和性能较低模型的稳健性，因此我们可以安全地添加来自同一学习过程的多个模型到集合中，而不是使用早停法选择单一的权重配置。本研究在四个不同的分类数据集上给出了实证结果，表明尽管计算代价较高，但来自文献中的最先进的贝叶斯集合并没有改进普通权重的深度集合，并且无法与通过优化串级损失的深度集合相匹配，后者还具有非空泛化保证。
Jun, 2024
我们引入了一种新的神经网络构建模块，Kernel Average Pool (KAP)，在长时间以来用于降低模型预测方差的模型集成和伪集成技术的基础上，提高了神经网络对于输入扰动的鲁棒性，并通过实验证明它能够与对抗训练的网络处于同一水平对抗各种形式的对抗性攻击。
Sep, 2022
该论文介绍了一种基于权重平均技术和扰动策略的集成神经网络蒸馏方法，有效地将多个教师网络的功能多样性吸收到一个适合资源受限环境中使用的学生网络中，并在多个图像分类任务上显著提高了性能。
Jun, 2022
我们提出了一种基于预测分布的 Stacking 方法，利用 Pareto-smooth 重要性采样计算所需的单次观察后验分布和正则化以获得更好的稳定性，比较结果表明我们的方法在计算成本可接受的情况下优于其它方法。
Apr, 2017
通过平均训练以不同超参数配置微调的模型，提高现有模型的性能和鲁棒性，从而在多个图像分类和自然语言处理任务中达到新的最先进技术水平。
Mar, 2022
本研究提出了一种统一的概率架构与权重集成神经架构搜索方法，利用概率神经架构搜索和近似贝叶斯推理的进展，从神经网络架构和权重的联合分布生成集成模型，取得了较大的进步。
Oct, 2022
提出了自适应随机权重平均（ASWA）技术，该技术结合了随机权重平均（SWA）和提前停止技术，仅在验证数据集上提高泛化性能时更新模型参数的运行平均值。对于图像分类到知识图谱上的多跳推理等广泛实验中，结果表明 ASWA 在模型和数据集上都能实现统计上更好的泛化。
Jun, 2024
本文提出了一种名为 PAPO 的方法，通过结合增强和超网络的方式，在同时考虑人口数量和生成策略的前提下，进行不同人口数量游戏的策略优化，并在多个环境中进行了实验和分析，验证了该方法在群体博弈中取得了非常显著的优越性。
Feb, 2023