词嵌入的一次性学习和少次学习

ICLROct, 2017

One-shot and few-shot learning of word embeddings

Andrew K. Lampinen, James L. McClelland

TL;DR通过人类的单次或少次学习的能力，本文借鉴启发式的思想，提出了一种简单的技术，使深度循环网络能够利用其先前的知识从少量数据中学习新单词的有用表示，使自然语言处理系统更加灵活。

Abstract

Standard deep learning systems require thousands or millions of examples to learn a concept, and cannot integrate new concepts easily. By contrast, humans have an incredible ability to do one-shot or few-shot learning

deep learning one-shot learning few-shot learning recurrent networks natural language processing

发现论文，激发创造

深度生成模型中的单次泛化

通过开发一类深度生成模型，结合深度学习的表示能力和贝叶斯推理的推理能力，我们开发了一类具有一次性泛化能力的机器学习系统，并在三个任务上展示了其能力：无条件采样、生成给定概念的新实例、以及生成一组概念的新实例，所有这些情况下我们的模型只需看到一次新的例子即可生成引人入胜且多样化的样本，这为单次机器学习提供了一类重要的通用模型。

Mar, 2016

一次性学习的匹配网络

本研究使用深度神经网络和度量学习的思想，建立了一种学习新概念的框架，从而不需要微调以适应新的类别类型，并在视觉和语言任务中定义了一次性学习问题，实验结果表明，在 Imagenet 数据集上，准确率从 87.6% 提高到 93.2%，在 Omniglot 数据集上，准确率从 88.0% 提高到 93.8%。

Jun, 2016

从一次学习中学习

该研究运用天赋先验直接模拟人类在抽象视觉任务（例如字符 / 涂鸦识别）中的基本天赋先验，使得机器学习可以在类似于人类只使用很少的样例和预训练的情况下进行泛化，并保持和人类人类识别率相同。

Jan, 2022

在线学习计算词向量

本文提出一种从少量辅助数据中即时预测稀有词嵌入的方法，并在阅读理解、文本蕴含和语言建模等任务中，与仅在任务端训练的嵌入相比，展现了更好的结果。

Jun, 2017

基于经验的语言学习快与慢

文章介绍了如何通过深度神经网络的元学习，分集记忆以及明确的多模态环境来实现迅速绑定，提供了人类认知发展的基本支柱和与人类用户交互的代理的一个潜在的转变能力。

Sep, 2020

简单语义辅助的少样本学习

利用少量数据进行学习是一项具有挑战性的计算机视觉任务，本文通过引入高质量的语义以及使用简单的网络结构，设计了一个名为 “语义进化” 的自动化方式来解决少样本学习中的问题，实验证明该方法在少样本分类任务中表现优异。

Nov, 2023

高风险学习：从微小数据中获取新单词向量

本论文研究了分布式语义模型与小样本数据的问题，并展示了如何使用神经语言模型 Word2Vec，通过以前学习语义空间的背景知识，仅对其标准体系结构进行微小修改，以从微小数据中学习新术语，并在单词定义任务和少量上下文的例子任务中，相较于最先进的模型，呈现出大幅增长的性能。

Jul, 2017

多重语义下走向少样本学习的初步探索

本研究关注于使用额外语义信息以便在少量样本时进行图像分类，研究表明组合多种语义信息可以带来更好的效果。

Jun, 2019

基于一次学习的低数据药物研发

本研究介绍了如何利用一次性学习来大幅降低药物研发预测所需的数据量，通过引入深度学习框架 DeepChem 的新架构残留 LSTM 嵌入和图卷积神经网络的组合，该方法在小分子化合物距离度量上取得了显著的进展。

Nov, 2016

人类少样本学习组合指令

人类的组合能力和语言学习技能具有高度的可塑性，能够从很少的示例中学习和使用新的功能概念，可以以超出提供的演示方式进行组合。研究了人们解决任务时的假设和归纳偏差，揭示了三个偏差：互斥性、一对一映射和图标级联。该研究显示了机器学习与人类语言学习的巨大差异，并探讨了制定更加类似于人类的机器学习算法的潜在手段。

Jan, 2019