Jan, 2013

知识至关重要：优化中先验信息的重要性

PDF
TL;DR通过在神经网络中引入先前的信息，我们能够在失败的机器学习算法无法学习的情况下解决任务。在这项研究中，我们通过对 64x64 的二进制图像数据集进行训练，使用一个两层 MLP 体系结构学习任务，其中包括以先前的中间阶段作为监督的中间级概念，从而获得可靠的正面证据来支持我们的假设。
neural networksmachine learningsupervisionmulti-layer perceptronoptimization
发现论文，激发创造
  • 基于先前知识的知情预训练

    该论文提出了一种新颖的信息化机器学习方法，建议在先前的知识上进行预训练，这可以加快学习过程，提高泛化能力，增加模型的鲁棒性，并且可以将语义知识转移至深层次特征。

    May, 2022

  • 使用中间概念的深度监督

    本文提出一种深度监督方法，通过利用中间概念对 CNN 的隐藏层进行监督，将先前的领域结构融入到神经网络训练中，显著提高了推广能力。该方法还可以仅使用合成场景来训练，并在实际图像上取得了 2D/3D 关键点本地化和图像分类的最新性能。

    Jan, 2018

  • 基于自然聚类先验的深度学习理解

    该研究通过对深度神经网络的训练动态、神经元和层级表示的广泛实证研究，尝试辨别深度学习系统中隐含的聚类能力、机制和超参数，评估它们对解释这些系统的泛化能力的相关性，从而阐述了先验知识在机器学习设计中的重要性。

    Mar, 2022

  • 深度学习知识的价值

    本文提出了一种启发自可解释的机器学习的框架，该框架通过量化实验评估了数据量和估计范围对知识价值的影响，并阐明了数据和知识之间的复杂关系。这个模型无关的框架可以应用于各种常见的网络架构中，提供了对深度学习模型中先前知识作用的全面理解。同时，它还可以用于提高知情机器学习的性能，以及区分不适当的先前知识。

    Jul, 2023

  • 预训练对贝叶斯优化的帮助

    研究利用类似函数数据进行先前训练来设置高斯过程先验，以优化机器学习模型的超参数调整问题，结果表明该方法比其他方法高效至少三倍。

    Jul, 2022

  • 中间预训练中掩码策略的影响

    本文通过大规模实证研究不同的遮蔽策略对于 NLP 模型中中间 pre-training 过程的影响，发现适当的预训练语料、输出格式的选择以及深思熟虑的 MLM 策略在提升最终性能方面有着关键作用，优化后的遮蔽策略不仅可以在 TrivaQA 数据集中优于传统策略，而且在某些情况下还可在多个任务间实现积极的迁移效果。

    Apr, 2021

  • 具信息先验的迁移学习：简化基线优于先前报道

    使用迁移学习和先验分布来提高分类器准确性，发现使用初始化的标准迁移学习在性能上表现比以前的研究要好得多，使用信息先验的方法在不同数据集上的相对收益不同，其中使用各向同性协方差矩阵的方法在可理解性和调整性上具有竞争力

    May, 2024

  • 使用中层视觉先验学习导航

    研究利用视觉先验在学习下游动作任务方面的帮助程度及其不使用的后果，通过在强化学习框架中整合感知技能集，探讨中级视觉如何提供比原始图像更加处理过的世界状态，从而实现更快、更好的学习和更高的终端性能，并通过计算导出任务不可知的一组优化的代表性来证明视觉表示不是适用于所有下游任务的普遍工具。

    Dec, 2019

  • 使用归纳先验学习三维机器人感知

    通过使用结构性归纳偏差和先验知识，在机器人感知问题中提出了多种先验知识的来源和编码方法，以解决物体定位、决策制定和场景理解等挑战性问题。

    May, 2024

  • 预训练在终身学习中的作用的实证调查

    通过调查现有的方法及其在预训练模型上的表现，我们观察到 Generic Pre-training 方法隐含地减轻了多任务学习中遗忘现象的影响，因为预训练权重看起来通过导致更宽的极小值来缓解遗忘现象，基于这个发现，我们建议联合当前任务的损失和损失基底锐度的优化方法，以在顺序微调期间显式地鼓励更宽的基底，在多种设置中实现与最新技术的性能相当的顺序连续学习，而无需保留随任务数缩放的内存。

    Dec, 2021