自然语言理解金融任务的模型无关元学习
本研究探讨了基于元学习算法的模型无关元学习算法(MAML)及其变体,以解决低资源自然语言理解任务中现有方法表现不佳的问题,并在 GLUE 基准测试中验证了该方法的有效性。
Aug, 2019
本文利用元学习算法 (MAML) 扩展低资源 NMT 问题,并通过多语言高资源任务进行学习来适应低资源语言,并利用全局词汇表解决不同语言的输入输出错配, 在使用 18 种欧洲语言作为源任务和 5 种不同的语言作为目标任务的情况下,相对于基于多语言、迁移学习的方法,表明所提出的方法显著优于现有方法,并仅需少量训练示例即可获得具有竞争力的 NMT 系统。
Aug, 2018
本文探讨了在低资源环境下生成新场景的句子,提出了基于元学习的通用优化方法(Meta-NLG)来解决这个问题,并在大型多域数据集上进行了实验,表明 Meta-NLG 在各种低资源配置中显著优于其他训练过程,适应低资源情况极快且良好。
May, 2019
我们提出了 MAML-en-LLM,一种新的元训练大型语言模型的方法,可以学习到真正可泛化的参数,不仅在不同任务上表现良好,还适应了未知任务,并且在性能和适应性能上得到了显著提升。
May, 2024
本文介绍了一种增强的 MAML 框架,该框架能够在多模态任务分布中识别任务模式并通过梯度更新快速适应,从而更有效地进行元学习,同时在回归、图像分类和强化学习等多种领域中进行了实验验证。
Oct, 2019
本文提出了一种基于多模态任务分布的 adaptative meta-learning 算法,并采用该算法来识别各种从多模态分布中采样的任务,以更快速地实现适应。结果表明该算法对于计算机视觉、强化学习和回归等多种任务领域都具有普适性。
Dec, 2018
应用元学习技术,使用模型无关的元学习 (MAML) 在不同的语言上进行训练,实现快速适应新语言,有效提高了在少量数据集下,处理跨语言 NLP 问题时的效果。
Apr, 2021
本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案,以消除 MAML 训练超参数调整的需要并提高其稳定性,实验结果表明其对于 Omniglot 数据库的效果有显著的提升。
May, 2019
通过数据中心的方法,我们提出了一种能够更好地处理金融任务的金融 LLM(FLLM)模型,通过多任务提示优化来对数据进行预处理和预理解,并通过推断增强推理(AAR)自动生成训练数据,实验结果表明,我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs,在金融分析和解释任务上达到了最新水平,我们还开源了一个新的金融分析和解释基准,这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。
Oct, 2023