Sep, 2019

带缩减的模块化元学习

PDF
TL;DR提出了一种能够自动发现并学习任务特定和通用可重用模块的元学习方法，以实现针对低数据任务的长时间自适应模型，适用于少样本 TTS 等通常存在少量数据和长时间自适应问题的领域，并在实验证明其表现优于现有元学习方法，包括 MAML，iMAML 和 Reptile。
meta-learningtext-to-speech synthesisbayesian shrinkagefew-shot learningadaptive modeling
发现论文，激发创造
  • Meta-TTS: 面向 Few-Shot 说话人自适应的元学习文本转语音

    本文提出了一种使用元学习算法的多说话人文本转语音（Meta-TTS）模型，通过少量的适应步骤，可以生成具有高语音相似度的语音合成，并且比已有的说话人适应方法和说话人编码方法更为高效。

    Nov, 2021

  • 通过任务感知调节的多模态模型无关元学习

    本文介绍了一种增强的 MAML 框架，该框架能够在多模态任务分布中识别任务模式并通过梯度更新快速适应，从而更有效地进行元学习，同时在回归、图像分类和强化学习等多种领域中进行了实验验证。

    Oct, 2019

  • 模块化元学习

    本文提出了一种学习一组神经网络模块并以不同方式组合的策略，并通过重复使用模块来实现组合概括，提高机器人相关问题的性能。

    Jun, 2018

  • 学习自定义模型结构以完成少样本对话生成任务

    本研究提出了一种算法，通过 few-shot 方式在每个任务中定制唯一的对话模型，其中每个对话模型包括共享模块、门控模块和专用模块，实验证明这种方法在任务一致性、响应质量和多样性方面优于所有基线。

    Oct, 2019

  • Few-Shot NMT 自适应元学习

    META-MT 提供了一种新的基于元学习的方法来适应神经机器翻译系统 (NMT)，可以使 NMT 模型很容易地适应多个领域的目标，同时需要极少量的领域数据。通过在模拟的离线元训练领域适应任务的基础上学习如何适应新的未见过的领域，我们将 NMT 系统的适应性视为元学习问题。我们在十个领域上评估了提出的元学习策略并展示了在很少的领域样例可用时，META-MT 可以显著优于经典的领域适应并且可以在只见到 4,000 个已翻译的单词 (300 对平行句子) 后比经典微调的 BLEU 指标高出多达 2.5 个点。

    Apr, 2020

  • 无需记忆的元学习

    通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。

    Dec, 2019

  • 增强元学习范式的简单而有效策略

    元学习是一种有前途的范式，可以实现任务之间的技能迁移。此论文从分布鲁棒的角度优化元学习流程，并用预期尾风险的度量来元训练模型，提高元学习对任务分布的鲁棒性并减少最坏快速适应风险的条件期望。

    Oct, 2023

  • Few-shot 学习的元学习方法：最新进展综述

    该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

    Mar, 2023

  • 自我监督元学习用于少样本自然语言分类任务

    本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

    Sep, 2020

  • 面向 Few-shot Learning 的任务无关元学习

    本文提出了一种基于熵和不等式优化的任务不可知元学习算法，可以在避免过度适应已有任务和提高元学习器泛化性能方面有效地解决少样本学习问题，并在少量分类和强化学习任务中表现优异。

    May, 2018