本文研究了自动学习偏见的模型,该模型假设学习者嵌套在相关学习任务的环境中,并在此环境中搜索包含良好解决方案的假设空间,进而获得更好的推广效果。
Jun, 2011
讨论了一般从多个任务中学习数据表示的方法,并在多任务学习和学习到学习的两种情况下对此方法进行了理论上的证明。我们通过线性特征学习的特例对方法进行详细说明,并建立起多任务表示学习在独立任务学习上的理论优势的条件,特别是针对重要的半空间学习的例子,我们推导出了多任务表示学习在独立任务学习上的优势随样本数量、任务数量和固有数据维度的函数关系,其他潜在应用包括在再现核希尔伯特空间和多层深度网络中进行多任务特征学习。
May, 2015
本文回顾了无监督特征学习和深度学习领域中的最新进展,讨论了学习良好的数据表示的适当目标,以及表示学习、密度估计和流形学习之间的几何联系。
Jun, 2012
机器只能在某些方面受到偏见时才能学习。本文介绍了两种偏差学习模型,并提出了主要的理论结果:PAC 类型模型基于经验处理理论,而分层贝叶斯模型。
Feb, 2020
本文提出了一种基于 Meta-learning 的多任务线性回归算法,该算法能够通过低维线性表示快速学习多个相关任务,同时将这些知识传递到新的未见过的任务中,并提供了信息论下限,证明了该算法的高效性。
在这项研究中,我们研究了元学习和多任务学习的框架,探讨了在小样本情况下,通过少量任务和样本,能否学习到有效的共享表示,并利用该表示解决二分类问题。
Dec, 2023
提出一种终身学习算法,通过维护和完善内部特征表示,使前面学习所得的知识能够迁移并应用于接下来的学习任务中,从而提高样本利用效率,并通过实验证明,与现有的终身学习方法相比具有更高的效率。
Oct, 2021
在这项工作中,我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域,并发现了表示与计算之间一些令人惊讶的脱节现象,这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色,并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征,并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚,这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差,同时突出了理解性或对比模型和大脑之间表示的关键挑战,即区分系统内部表示的外部偏差和计算上重要的方面。
May, 2024
本文旨在研究用结构性表示学习的方法,具体分为解缠结表示与面向对象表示两个方向,以实现从非结构化数据中提取潜在结构信息的目的,同时还探讨了该方法对预训练表示和下游任务泛化能力的提升以及其对于大规模数据的高效表征学习的应用。
Apr, 2023
本研究论述了机器学习算法在学习过程中的表示问题及应用,并就深度学习模型、框架和关键问题等进行了探讨和分析。
Nov, 2022