环境因素对位于特定环境中的代理体系统性与概括性的影响

Oct, 2019

环境因素对位于特定环境中的代理体系统性与概括性的影响

Environmental drivers of systematicity and generalization in a situated agent

Felix Hill, Andrew Lampinen, Rosalia Schneider, Stephen Clark, Matthew Botvinick...

TL;DR研究神经网络的泛化能力，通过 3D Unity 模拟环境测试网络在未见过的情况下的表现并发现了训练、环境的细节影响泛化能力，建议在网络训练时按照孩子多感官、多模态的观察方式输入信息。

Abstract

The question of whether deep neural networks are good at generalising beyond their immediate training experience is of critical importance for learning-based approaches to AI. Here, we consider tests of out-of-sample ge

deep neural networks generalisation training regime perceptual aspect multi-modal observations

发现论文，激发创造

非变量泛化

本文旨在研究 AI 智能代理器对于陌生和新的因变量的预测和探索问题，提出了一种基于先前经验的较为有效的处理方法，并能够实现零样本预测。

Apr, 2023

深度强化学习的泛化评估

通过引入基准测试和实验协议，我们对深度强化学习中不同泛化方案的优点进行了系统评估，并发现与特定针对泛化的专门方案相比，“vanilla” 深度 RL 算法的泛化能力更强。

Oct, 2018

网络随机化：增强学习中通用的简单技术

本文提出一种简单有效的技术，通过引入随机卷积神经网络打乱输入观测数据，在提高深度强化学习智能体的泛化能力方面取得了显著效果，并且通过 Monte Carlo 近似的推理方法来减少随机化引起的方差。我们在 2D CoinRun、3D DeepMind Lab 探索和 3D 机器人控制任务中展示了我们的方法的优越性，相比于其他正则化和数据增强方法明显更加优秀。

Oct, 2019

具有泛化能力的投影模拟

通过提出几个泛化的标准以及一种动态且自主的机制，本文介绍了如何在项目模拟智能代理中实现有意义的泛化，从而使代理可以学习和应对大量数据，配合一个基于非常简单的原则的基本的项目模拟模型和泛化机制，使我们能够全面分析代理的性能并展示它通过泛化的益处。

Apr, 2015

深度集合用于 RL 中的泛化

本文研究了在自然语言引导下的强化学习中，将以对象为中心的表现编码到奖励函数和策略架构中的想法。通过使用受深度集合启发的对象排列不变网络和门控注意机制的组合，我们在二维过程生成的世界中显示出这些结构对于分布外的目标具有强大的泛化能力，同时我们研究了在测试时对象数量的泛化和将以对象为中心的架构扩展到涉及关系推理的目标。

Mar, 2020

AI 代理的记忆和泛化能力分析：连续学习者是否稳健？

提出了一种新颖的连续学习（CL）框架，通过使用有限容量的内存保存先前观察到的环境信息以减轻遗忘问题，并从内存中采样数据点来估计环境变化的风险分布，从而获得对未知变化具有鲁棒性的预测器。实验表明，该算法在所有环境中优于基于内存的 CL 基线，并显著提高了在未知目标环境中的泛化性能。

Sep, 2023

探究连续深度强化学习中的泛化能力

本文通过深度增强学习模型下的不确定性源和基准测试来研究面临的泛化挑战，并评估了改进泛化性能的几种技术，总结了迄今为止最稳健的技术。

Feb, 2019

Unity: 智能代理通用平台

该论文提出了一个现有模拟平台的新分类法，并探讨了通用平台的最高级别类，这些平台可以开发具有丰富的可视化、物理、任务和社交复杂性的学习环境。作者认为，现代游戏引擎非常适合作为通用平台，并以 Unity 引擎和开放源代码 Unity ML-Agents Toolkit 为案例研究。接着，作者调查了 Unity 和 Unity ML-Agents Toolkit 所支持的研究，讨论了灵活、交互和易配置的通用平台可以促进哪些研究。

Sep, 2018

通过模块化和增强改进系统化的泛化能力

本研究研究了通过模块化和数据增量方法对神经网络在基于自然语言语境的学习中实现系统化综合的影响，并发现具有认知过程至少两个模块的神经网络比非模块基线更容易通过扩充数据实现系统化综合。

Feb, 2022

重新思考泛化对于了解深度学习至关重要

该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016