利用 CNN 的可切换轻量级反对称处理技术超越小样本数据扩充 —— 应用于五子棋加强学习

Jan, 2023

利用 CNN 的可切换轻量级反对称处理技术超越小样本数据扩充 —— 应用于五子棋加强学习

Switchable Lightweight Anti-symmetric Processing (SLAP) with CNN Outspeeds Data Augmentation by Smaller Sample -- Application in Gomoku Reinforcement Learning

PDF

Chi-Hang Suen, Eduardo Alonso

TL;DR本文提出了一种名为 SLAP 的方法，用于加速机器学习和减少样本量，以替代数据增强方法。SLAP 是一种无需模型依赖的协议 / 函数，用于产生给定不同变换变体的相同输出。实验中，SLAP 提高了卷积神经网络学习的收敛速度 83％，并且只需数据增强的八分之一的样本量。在 Gomoku 的强化学习中，与数据增强基线相比，SLAP 缩小了 8 倍的训练样本数，并且实现了与相同标准评估者相似的胜率。但还不确定它是否能加速强化学习。未来工作中，SLAP 可以帮助不具有对称性或某些变换不变性的领域实现更可解释的学习和迁移学习，作为人工通用智能的一小步。

Abstract

To replace data augmentation, this paper proposed a method called slap to intensify experience to speed up machine learning and reduce the

slap data augmentation machine learning convolutional neural network reinforcement learning

发现论文，激发创造

SLAP: 使用短暂的对抗扰动改进物理对抗样本

本文提出了一种名为 SLAP 的技术，利用光投影将对物体的特定扰动加持在现实世界中的物体上，从而在自驾场景下，以非常高的成功率控制对象检测和交通标志识别任务。

Jul, 2020

SLAPS：自监督改善图神经网络结构学习

本文提出了一种名为自监督的同时学习邻接矩阵和 GNN 参数的方法，可以扩展到数十万个节点的大型图表，并在基准测试中优于其他模型。

Feb, 2021

深度学习逼近：零样本神经网络加速

本研究针对生产系统中的计算和内存需求问题，提出一种 Deep Learning Approximation 技术，通过对网络结构和系数进行操作，而不需要重新训练或获得训练数据，从而构建出快速网络。该技术通过应用一系列独立的优化来降低正向传递所需的 FLOPs，其中包括无失真的优化和使用奇异值分解和低秩矩阵分解的有损近似。该研究通过对 PASCAL VOC 2007 数据集中的 YOLO 网络进行测试，证明了这种方法可以在不降低相对准确性的情况下，在网络正向传递中实现 2 倍的加速。

Jun, 2018

CLASP：用于语义解析的少样本跨语言数据增强

本研究提出 CLASP 方法，利用合成数据从 AlexaTM 20B 中挖掘出更多的数据，用以改善低资源的语义解析，实现在多国语言上的有效应用。

Oct, 2022

稀疏奖励目标条件强化学习的瞬态自我模仿降维

该论文提出了一种新的强化学习方法 PIAR，通过在在线和离线阶段交替进行强化学习和监督学习，采用任务缩减和内在奖励等技术，显著提高了样本效率，并在真实机器人控制问题中表现出色。

Jun, 2022

代理拉格朗日松弛法：一种无需重新训练的深度神经网络剪枝路径

使用代理 Lagrange 松弛的系统性权重剪枝优化方法，可以通过少量的重新训练，实现比现有技术更快的收敛速度和更高的剪枝压缩率，同时维持高精度。

Apr, 2023

加速围棋自我博弈学习

通过改进 AlphaZero 的过程和架构，我们在 Go 中极大地加速了自我博弈学习，与类似方法相比，计算量减少了 50 倍。