Feb, 2019

端到端训练何时失败：如何选择是否集成？

PDF
TL;DR本文针对网络集成进行了端到端 (E2E) 的训练研究，揭示了 E2E 训练中出现的明显失败案例，发现过参数化模型的 E2E 训练将无法完成，还发现最佳性能有时可以在集成和 E2E 系统之间取得。同时，本文还揭示了与 Dropout 的联系，引发了关于集成多样性和多分支网络性质的问题。
end-to-end trainingdeep network architecturesensemble of networksover-parameterized modelsmulti-branch networks
发现论文，激发创造
  • 通过层级角色差异来诱导端到端训练中的信息瓶颈：与逐层训练进行比较的分析

    通过与逐层训练进行比较，本文重新考虑为什么端到端训练能够表现出卓越性能，并分析了中间表示的信息平面动态，揭示了端到端训练在不同层中展示不同信息动态的能力，以及表明层间的合作相互作用需要被考虑在深度学习的信息瓶颈分析中。

    Feb, 2024

  • 端到端学习的极限

    本文讨论了端到端学习技术在复杂数据处理体系结构中的可扩展性，并指出了它存在的潜在缺陷，特别是在利用神经网络现有的模块化设计方面的不足。作者的简单实验证明了这些效率问题，甚至导致学习完全崩溃。

    Apr, 2017

  • 多智体合奏的端到端优化与学习

    本文提出了一种名为 e2e-MEL 的策略，通过将约束优化和学习相结合，将集成学习任务变成可微分的选择程序，学习为特定输入样本选择适当的预测器进行组合，结果表明，e2e-MEL 在各种设置中都可以明显优于传统共识规则。

    Nov, 2022

  • 为何多个网络头胜过单独一个：训练深度神经网络的多样集成

    本研究探讨了如何最佳地建立卷积神经网络的组合，比较了多种资源共享和差异性鼓励的策略，其中提出了 TreeNets 算法，最后通过端到端的训练以统一的损失函数获得比传统算法更高的准确率。

    Nov, 2015

  • 众志成城：使用集成模型的逐轮一致性来抵御过拟合

    通过理论分析和经验验证，在深度神经网络中，过拟合发生时，分类器之间的差异性增加。受此结果的指导，我们提出了一种新的基于集成的预测方法，以对抗过拟合。该方法通过选择训练过程中最一致的预测结果来确定最终预测，有效消除了过拟合对模型泛化性能的不利影响，甚至在性能上超过了早停止方法。这种易于实现、可与任何训练方案和架构集成的方法，不需要额外的先验知识，因此是克服过拟合问题的实用和有用工具。

    Oct, 2023

  • EnsembleNet：多头模型的端到端优化

    本研究通过提出更为简单有效的对应蒸馏架构，将单一深度神经网络转化为最优性能且规模更小的多头模型，提高机器学习模型的性能并实现端到端优化。

    May, 2019

  • E2E-AT: 一个统一的框架用于应对任务感知的端到端学习中的不确定性

    将机器学习、约束优化、端到端学习、不确定性和对抗训练作为关键词，该论文提出了一种统一框架来解决不确定性模型，并通过端到端对抗训练进行了实践求解，最后通过实际的电力系统运行问题的评估，包括负荷预测和顺序调度任务。

    Dec, 2023

  • 深度集成的效果如何，但它们是否必要？

    通过研究和实验证明，相比于单个深层神经网络，神经网络集成在识别度、不确定性量化和对数据集迁移的鲁棒性方面并没有显著提高，二者都能实现类似的性能和效益。

    Feb, 2022

  • 重新审视本地监督学习：一种替代端到端训练的方法

    本文介绍了一种利用信息传播 (loss) 解决深度网络训练时存储中间激活值（activations）的大内存占用问题的算法，该算法将网络划分为局部模块，通过异步训练这些分离的局部模块，并且通过信息传播 (loss) 损失函数，逐层改进算法提高训练效率。

    Jan, 2021

  • 基于视窗的早期退出级联用于不确定性估计：当深度集成优于单一模型

    本文研究了将 Deep Ensembles 方法扩展到与不确定性评估相关的任务，提出了一种在接近二元决策边界的窗口内传递样本以实现早期退出的新方法，并发现级联 / 集成模型在 OOD 数据上比模型扩展更可靠。

    Mar, 2023