Sep, 2023

领域泛化的鲁棒内部表示

PDF
TL;DR这篇论文是我的关于利用嵌入空间进行迁移学习的全面调查，针对持续学习和有限标记数据的固有挑战提供了综述。通过总结我过去和正在进行的贡献，本文旨在呈现对我研究的整体理解，为未来的探索和领域进展铺平道路。我的研究涉及迁移学习的各种情景，包括少样本学习、零样本学习、持续学习、领域适应和分布式学习。希望这个调查能为有兴趣专注于类似研究方向的研究人员提供一个前瞻性的视角。
transfer learningembedding spacescontinual learninglabeled datafield exploration
发现论文，激发创造
  • 跨领域和任务传递表示的有效学习

    该研究提出了一种跨不同领域和任务学习可转移表示的框架，借助度量学习的方法为新任务和领域泛化嵌入，通过对抗损失解决了域偏移问题，在标记源数据和目标域中的未标记或稀疏标记的数据上进行同时优化。该方法在只有每类很少标记实例的情况下，对新领域内的新类提供了令人信服的结果，优于现有的微调方法，并证明了该框架在从图像对象识别到视频动作识别的转移学习任务中的有效性。

    Nov, 2017

  • 具有领域感知分类表示的通用增量学习

    本文提出一种基于 EM 框架的领域感知的持续学习方法来应对在增量学习中类分布和域分布的变化问题，使用基于 von Mises-Fisher 混合模型的灵活类表示来捕获类内结构，采用内部平衡和交叉类数据的处理方式来设计双层平衡记忆，并结合蒸馏损失实现更好的稳定性和可塑性权衡。经过大量实验，表明该方法在三个基准数据集上均优于现有方法。

    Apr, 2022

  • 知识图谱嵌入的持续学习

    本文介绍了一种基于连续学习方法的增量知识图嵌入技术，弥补了现有嵌入技术只能处理先前已知概念的局限性，并提供了一些在知识图嵌入技术和机器人应用之间进行权衡的洞见。

    Jan, 2021

  • 生成式持续概念学习

    该研究提出了一个利用少量标记示例来扩展以前学习概念的计算模型，该模型基于 Parallel Distributed Processing 和 Complementary Learning Systems 理论，使用嵌入空间将新概念与以前学习的概念联系起来，并通过生成分布来解决灾难性遗忘问题。

    Jun, 2019

  • 跨视角多视图零样本学习

    本文提出了一种解决零样本学习中投影域偏移和原型稀疏性问题的新框架，即传导多视图嵌入法，并提出了异构多视图超图标签传播方法，旨在通过多种语义表示结构的协同作用，有效利用不同语义表示的补充信息，解决多个数据集的分类问题。

    Jan, 2015

  • 表示学习：综述与新视角

    本文回顾了无监督特征学习和深度学习领域中的最新进展，讨论了学习良好的数据表示的适当目标，以及表示学习、密度估计和流形学习之间的几何联系。

    Jun, 2012

  • 大型语言模型中的连续预训练探索：洞见与影响

    这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了 LLMs 在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

    Feb, 2024

  • 深度域泛化的批归一化嵌入

    该研究提出一种基于批标准化和集成模型的域泛化方法，以在不同和未知的领域中提高机器学习模型的鲁棒性和分类准确性。

    Nov, 2020

  • 深度学习中的可迁移性研究

    本文介绍深度学习中的迁移学习，包含核心原理和方法、面临的基本问题、未解决的问题以及工具库和基准测试等方面的内容。

    Jan, 2022

  • 融合与注意力：面向艺术和素描的广义嵌入学习

    本文介绍了一种新型的嵌入式学习方法，利用门控融合和注意力，通过对来自不同领域的查询图像的嵌入向量进行对比学习，实现不同领域的图像数据通用表示，提高计算机视觉的表现力。

    Aug, 2022