- CVPR在人脸反欺诈中提升跨领域泛化性能：洞见、设计与度量
本文介绍了一种增强数据域广义化中反欺骗性能的新视角，并提出了一种在视频层面上以度量为基础的方法，用于优化模型的稳定性和泛化能力。研究结果显示，简单地扩大模型的骨干网络并不能本质上改善模型的不稳定性，因此我们从贝叶斯的角度提出了一种集成骨干网 - 通过将令牌生成视为分类融合来打破 LLM 社区的层级限制
利用生成式语言模型（GaC），将多个大型语言模型（LLM）集成在一起，在多项基准测试中突破了现有的性能限制；此外，仅集成关键标记也表现出更好的性能和更低的延迟。
- 长期投资的组合策略集成：一种无分布偏好框架和决策算法
通过建立投资者对决策的偏好，并确立明确的目标，引入一种新颖的决策框架，在任何市场条件下结合多种策略，构建无需统计假设的组合策略，以满足确定的标准，并在实验中验证了该策略的有效性和改进性能。
- 动态在线基函数扩展集成
利用随机特征逼近实现可伸缩、在线的高斯过程集成学习方法可广泛应用于不同的基础扩展模型，并能更好地选择具体的基础扩展方式。同时，能够将多种完全不同的模型进行集成，包括高斯过程和多项式回归。最后，提出了一种新颖的将静态和动态模型进行集成的方法。
- 利用深度并行协作实现异构大型语言模型的集成学习
我们提出了一个训练免费的集成框架 DEEPEN，通过平均不同大型语言模型输出的概率分布来解决现有方法中的词汇差异问题，并在涉及主观考试、推理和知识问答的六个流行基准测试中获得了一致的改进效果。
- 事后反转：我们是否过早选择模型？
在这篇文章中，作者提出了后企业行的选择技术，通过后企业行指标在模型开发决策中，如早停，检查点和更广的超参数选择，对模型进行指导。
- k 胜出者全取模式集成神经网络
基于 k 取胜神经元激活函数的合作集成神经网络（kWTA-ENN）是一种改进的集成方法，通过并行训练子网络并利用 k 取胜神经元激活函数，实现了专业化与知识共享的平衡，其在基准数据集上达到更好性能，例如 98.34％的 MNIST 测试准确 - 文本和基于结构的模型的集成用于知识图谱补全
我们研究了两种知识图谱补全方法：依赖文本实体描述的文本模型和利用知识图谱的连接结构的基于结构的模型。我们通过集成的方式结合了这两种方法，提出了一种新颖的方法来学习查询相关的集成权重，并在三个标准知识图谱补全数据集上取得了最先进的结果。
- 广义逻辑调整：在基础模型中消除标签偏差以校准微调模型
该研究系统地检查了基础模型中的偏见，并展示了我们提出的广义对数调整（GLA）方法的有效性。GLA 在解决预训练中的基本缺陷方面取得了重大改进，对于各种任务都取得了显著的提高。
- 如何（不）为 VQA 集成 LVLMs
这篇论文研究了大规模视觉 - 语言模型（LVLMs）时代的集成方法。在近期的百科问答研究中，作者们从不同类型的模型中选择了多种模型来解决任务：从基本的 LVLMs，到包含图注作为额外上下文的模型，再到借助镜头检索维基百科页面的模型。这些模型 - 双神经网络优化的 k 最近邻回归
双神经网络回归通过训练预测回归目标之间的差异而不是目标本身。该算法通过集成未知数据点的目标与多个已知锚点的差异来解决原始回归问题，其中锚点选择为未知数据点的最近邻，证明在小到中等规模的数据集上表现优于神经网络和最近邻回归。
- 切线模型组合用于集成和持续微调
Tangent Model Composition (TMC) 是一种将组件模型独立微调到预训练点周围并组合的方法，旨在支持增量学习、组合或取消学习，并在推理时通过标量组合组合组件模型，从而将集成成本降低到单个模型的成本以提高准确度，在 1 - 集成学习何时真正有效？
研究加入集成（ensembling）技术在分类任务中的性能提升问题，证明当集成模型中错误率低于集成模型间的不同率时，在学习任务中加入集成技术可以显著提高性能。通过理论和实验的方式证明这种推论，并在实践中找出集成技术适用和不适用的情况。
- Adam-Smith 参加 SemEval-2023 任务 4：使用基于 Transformer 的模型集合发现论点中的人类价值观
本文介绍了在 SemEval-2023 任务 4（“辩论背后人类价值观的识别”）中表现最好的 “亚当・斯密” 方法，该方法利用基于 transformer 的模型通过 Ensembling，选择全局决策阈值，从而实现在竞赛中获得最佳表现。同 - ICLR深度排名集合用于超参数优化
利用集成的神经网络元学习方法来优化超参数排序，取得了超参数优化方面的最新最优结果。
- 深度学习图像分类中基于置信度集成的评估
使用了 Conf-Ensemble 技术来提高机器学习模型的性能，通过对 ImageNet 数据集的图像分类实验，发现 Conf-Ensemble 在复杂的多标签分类任务中并未能如预期一样实现优化结果，也说明了大数据难以被利用的非平凡性。
- FAIR-Ensemble: 深度集成自然产生公平性
通过分析异质性模型，我们探究了不同培训集合的神经网络集成对子群体表现的影响。发现使用同质集成，即使所有单独模型使用相同的训练集，架构和设计选择，仍然可以获得令人信服和有力的最坏 k 值和少数群体的表现提升。我们的研究证明，简单的神经网络集成 - KDDBUAA_BIGSCity: 基于时空图神经网络的风力发电预测（百度 KDD CUP 2022）
本文介绍了一种使用空间 - 时间图神经网络建立的风力发电预测模型。本方法在 2022 年度百度 KDD 大赛中取得了较好的成绩，并通过将 AGCRN 和 MTGNN 两种模型进行集成得到更好的结果，测试集的 RMSE 分数为 - 45.36 - 使用可视 Transformer 解决 3D 图像 Weather4cast 挑战
本文介绍了通过使用基于 transformer 的算法来解决 NeurIPS 2022 中的 Weather4cast 挑战，预测在接下来的 8 小时内的降雨事件，并通过将不同的 transformer 和基线模型进行集合，获得了最好的性能 - ICLR加权集成自监督学习
本文使用数据相关加权交叉熵损失函数的框架，探索如何通过集成方法提高最近的自监督学习技术，实验证明我们的方法在 ImageNet-1K 的少样本学习中优于现有的 SSL 方法