快速而灵活：训练神经网络通过少量数据学习遵循指令

Sep, 2018

快速而灵活：训练神经网络通过少量数据学习遵循指令

The Fast and the Flexible: training neural networks to learn to follow instructions from small data

Rezka Leonandya, Elia Bruni, Dieuwke Hupkes, Germán Kruszewski

TL;DR通过两阶段训练过程，我们的神经网络系统自动获得归纳偏差来学习遵循人类指令的通用结构，并能够适应新话语中的新单词。

Abstract

learning to follow human instructions is a long-pursued goal in artificial intelligence. The task becomes particularly challenging if no prior knowledge of the employed language is assumed while relying only on a handful of examples to learn from. Work in the past has relied on hand-co

artificial intelligence neural network system learning language acquisition inductive biases

发现论文，激发创造

将贝叶斯先验蒸馏到人工神经网络中，模拟快速语言学习

将贝叶斯模型的归纳偏差与神经网络的灵活表示相结合，使得从自然语素材中有限学习成为可能。

May, 2023

人工神经网络对人类语言习得的启示

通过使用机器学习及自然语言处理技术，研究语言习得过程，探讨如何让模型学习在有限的语言输入下获取语言知识，以验证关于人类语言学习本质的假说。

Aug, 2022

高效机器通信的持续自适应

本研究提出了一个基于交互式重复参考任务的连续学习框架，以更准确和高效地与伙伴通信，并通过 COCO 的模拟和与人类伙伴的实时参考游戏实验进行了评估。

Nov, 2019

语言的深度学习易度是由什么决定的？

通过在人工语言学习研究中复制并测试深度神经网络学习新语言的记忆和推广能力，我们在神经网络与人类之间发现了惊人的相似性，并发现结构化语言输入在提高神经网络系统化概括和记忆错误方面的效果与自然语言存在高度相关性。

Feb, 2023

神经机器翻译的自适应学习

本研究提出自适应学习方法来改进神经机器翻译 (NMT) 训练过程，允许 NMT 模型自动评估对训练示例的学习自信度并通过调节每次迭代的损失来灵活地控制学习，实验证明该方法在提高翻译质量和加速收敛速度方面优于强基线和人工设计课程训练的模型。

Oct, 2020

基于经验的语言学习快与慢

文章介绍了如何通过深度神经网络的元学习，分集记忆以及明确的多模态环境来实现迅速绑定，提供了人类认知发展的基本支柱和与人类用户交互的代理的一个潜在的转变能力。

Sep, 2020

神经网络语言模型的增量适应策略

本文提出了两种优化神经网络语言模型适应新数据的方法，包括在重新采样数据上进行继续训练或插入适应性层。在 CAT 环境中应用于 SMT 系统中，这两种方法均取得了显著的改进。

Dec, 2014

指引我：与深层网络交互

本文研究了通过插入一个空间语义导向层来引导卷积神经网络的性能，包括使用交互式权重的循环模型来学习口头交互，并在两个数据集上进行了评估。

Mar, 2018

快慢思维的语言条件下的机器人操作

通过模仿人类认知结构，我们引入了一种名为 RFST 的框架，该框架利用语言指令对任务进行分类并基于指令类型做出决策，包含指令鉴别器和一个与策略网络相匹配的精调视觉语言模型，可以识别用户意图或执行推理任务，我们的实验结果验证了我们的方法在需要意图识别和推理的复杂任务中的出色表现。

Jan, 2024

深度智能体新兴通信的词序偏见

本研究旨在发现序列处理神经网络对于 “自然” 词序约束的偏见。结果表明，神经网络倾向于避免长距离依赖，但并没有明显的偏好于高效的，非冗余的信息编码。因此我们建议在神经网络中引入 “努力程度” 的概念，以使其语言行为更像人类。

May, 2019