本文提出了一种基于不同领域文本的词嵌入学习方法,并通过多个下游 NLP 任务的实验,证明了该方法的有效性。
Feb, 2019
提出一种无监督的本地线性元嵌入学习方法,使用预先训练好的分布式词嵌入生成更准确的元嵌入,表现优于该领域现有技术,建立新的元嵌入技术的最先进状态。
Sep, 2017
本文介绍了一种利用集成学习方法构建元嵌入(meta-embeddings) 的方式,通过将不同的公开嵌入集合相结合,提高嵌入语义的质量。和单个嵌入集相比,元嵌入可以更好地完成词相似性,词类标注等任务,并且具有更广泛的词汇覆盖。
Aug, 2015
该文介绍了一种新的方法,通过同时捕获情感语义和单词的域敏感性的信息来学习领域敏感且情感感知的词嵌入向量。实验结果表明,该模型在句子和词库级别上都提供了学习领域敏感和情感感知词嵌入向量的有效方法。
May, 2018
本文为填补学界在 Meta-embedding learning 系统调查领域的空白着重于分类 Meta-embedding learning 方法,并在讨论其限制和未来研究方向时,探究了该方法在多源嵌入语义中的优势。
Apr, 2022
使用数据领域中的输入嵌入对语言模型进行初始化和冻结,可在有限的计算资源下提高语言模型性能,这种方法适用于各种应用程序领域且与输入和输出嵌入打结的标准约定无关。
Sep, 2020
本文提出一个高效的元学习框架,将终身学习的三个普遍原则相结合,以有效地训练同时避免灾难性遗忘和负迁移,并达到与多任务学习相当的性能。
Oct, 2020
介绍了一种通过神经网络自行学习嵌入向量的方法 —— 动态元嵌入,该方法在同一模型类别下,在各种任务中实现了最先进的性能,并展示了该技术如何在 NLP 系统中应用嵌入向量。
Apr, 2018
本研究提出了一种基于对抗训练的可扩展框架,用于实现基于跨领域演示的自主智能体学习任务的能力,通过学习映射来实现不同领域间的策略转移,解决了其他方法在许多领域方面存在的问题。
Sep, 2022
本文介绍了大型语言模型在上下文学习中的递归学习能力,即元上下文学习。作者以两个理想化的领域为例,展示了元上下文学习是如何适应性地重塑大型语言模型对预期任务的先验知识,并修改其上下文学习策略。最后,作者通过真实世界回归问题的基准测试发现,元上下文学习与传统学习算法相比具有有竞争力的性能。通过元上下文学习而不是传统的 finetuning 来纯粹地适应大型语言模型应用的环境,可以提高大家对上下文学习的理解,为大型语言模型的应用打下基础。
May, 2023