MMFeb, 2020

使用连续循环神经网络进行动态系统仿真和控制

PDF
TL;DR本文提出了一种创新的架构，将自适应学习和神经网络连接到任意机器的控制系统范例中，使用两个相继的 RNN 来精确建模包括控制器、执行器和电动机在内的电机机电系统的动态特性，并在控制和模拟电机机电系统方面提出实现 PID 控制器的替代方案，采用两个 RNN 序列，第一个 RNN 模拟控制器行为，第二个 RNN 模拟执行器 / 电动机行为，第二个 RNN 在孤立使用时，可能是现有电机机电系统测试方法的优越替代品。
发现论文，激发创造
  • 将神经进化与新奇搜索相结合以改进游戏测试输入的生成

    游戏挑战传统的自动化白盒测试生成器，最新的方法使用生成玩游戏的神经网络生成测试套件，并通过受个别源代码语句目标函数指导的进化算法生成这些神经网络。通过奖励新颖行为来解决具有挑战性的适应度景观问题。

    Jul, 2024

  • 未发现的因果关系与模糊的影响：对解读神经网络构成挑战的反事实论证

    在解释性研究中，我们常常将反事实因果理论视为理所当然。尽管反事实呈现了比相关性方法更加准确的证据，但它仍然存在一些偏见，导致我们无法全面地捕捉到产生相同结果的多个独立充分原因和神经网络中的反事实依赖不具备传递性。我们讨论了这些挑战对解释性研究的影响，并提出了未来工作的具体建议。

    Jul, 2024

  • 缺陷表达的特征衰减可解决异常检测中的不完全屏蔽

    我们通过分析和改进重建填补方法，提出了一种名为 FADeR 的特征衰减缺陷表示的方法，该方法使用仅两个 MLP 层，在解码期间减弱了异常重建的特征信息，从而减少了误报。与相似规模的神经网络相比，实验结果表明 FADeR 实现了卓越的性能。此外，我们的方法还展示了与其他单确定性遮蔽方法的可插拔性能提升方面的可扩展性。

    Jul, 2024

  • 视觉模型的同构剪枝

    通过去除冗余子结构，结构剪枝减少了深度神经网络的计算开销。鉴于先进的视觉模型具有自注意力、深度卷积或残差连接等新机制和新架构，评估不同子结构的相对重要性仍然是一个重大挑战。为了克服这个问题，我们提出了同构剪枝，这是一种简单的方法，在视觉变换器和卷积神经网络等多种网络架构上都展现了有效性，并在不同模型大小上提供了竞争性能。同构剪枝源自一个观察，即在预定义的重要性标准下评估时，异构子结构的重要性分布存在显著差异，而同构结构呈现类似的重要性模式。这启发我们对不同类型的子结构进行独立的排名和比较，以实现更可靠的剪枝。我们在 ImageNet-1K 上的经验证明，同构剪枝超过了专门为变换器或卷积神经网络设计的几种剪枝基线。例如，我们通过剪枝现成的 DeiT-Base 模型，将 DeiT-Tiny 的准确度从 74.52% 提高到 77.50%。对于 ConvNext-Tiny，我们在降低参数数量和内存使用的同时，将性能从 82.06% 提高到 82.18%。代码可在 https://github.com/VainF/Isomorphic-Pruning 上找到。

    Jul, 2024

  • 随机梯度下降或架构的偏差：解开神经网络过参数化的影响

    神经网络过拟合问题涉及超参数，随机梯度下降以及网络架构等因素，本文通过研究随机和经优化的网络来解析由优化和架构选择引起的泛化问题，实验证明对于增加的宽度，超参数化对泛化有益，并且这一益处源于随机梯度下降的偏差，而不是网络架构导致的；相反，对于增加的深度，超参数化对泛化不利，但随机和经优化的网络表现相似，因此这可以归因于架构偏差。

    Jul, 2024

  • 多比特态辨别的低延迟机器学习 FPGA 加速器

    量子计算中的量子比特测量是一项基本而容易出错的操作。本研究使用一种集成方法，在可编程门阵列 (FPGA) 上部署神经网络 (NN)，并证明了设计和实现全连接神经网络加速器以平衡计算复杂度和低延迟需求，并在准确度上几乎没有明显损失是切实可行的。神经网络通过权重、激活函数和输入的量化来实现。该硬件加速器使用 RFSoC ZCU111 FPGA 在不到 50ns 的时间内进行 5 个超导量子比特的频谱复用读出，这在文献中是首次出现的。这些模块可以在现有的量子控制和读出平台上使用 RFSoC ZCU111 做实验部署。

    Jul, 2024

  • 学习可解释的可微逻辑网络

    我们提出了一种学习可解释的可微分逻辑网络（DLNs）的新方法，这些网络使用多层二进制逻辑运算符构建，通过对输入进行二值化、二进制逻辑操作和神经元之间的连接来训练这些网络。实验结果表明，可微分逻辑网络在二十个分类任务上可以达到与传统神经网络相当甚至超过的准确率，并且具有解释性。此外，它们的相对简单结构使得推断过程中的逻辑门操作数量比神经网络少上千倍，适用于边缘设备部署。

    Jul, 2024

  • 公平表征十年：挑战与机遇

    公平表示学习（FRL）是一组基于神经网络的广泛技术，旨在学习新的数据表示形式，其中敏感或不需要的信息已被移除。本文回顾了 FRL 的前十年，通过重新审视其理论基础，并在深度学习理论的最新工作中展示了神经网络表示中信息移除的难度，以及通过大规模实验证实了使用自动化机器学习（AutoML）对本来公平表示进行敌对性 “挖掘” 敏感信息的结果，我们的理论和实验分析表明，确定性、非量化的 FRL 方法在移除敏感信息方面存在严重问题，这尤其令人担忧，因为它们乍一看可能是 “公正” 的。

    Jul, 2024

  • SineKAN: 使用正弦激活函数的科尔莫戈洛夫 - 阿诺德网络

    用可学习的正弦函数替代可学习的基本样条函数可以在 MNIST 基准测试中提供更好或相当的数值性能，并且速度提高了 4-9 倍。

    Jul, 2024

  • 利用本体感知数据提升具有不确定性的空间探索机器人的地形分类

    在空间探索中，地形分类是一项重要任务，其中无法预测的环境难以仅依靠外部感知传感器（如视觉）进行观测。通过引入神经网络分类器，可以实现高性能，但由于缺乏透明性，这使得它们在任务规划中做出重要决策时不可靠。本文提出了一种带有不确定性量化的神经网络地形分类方法。我们通过在时间序列可用体系结构中使用只有本体感知数据作为输入的蒙特卡洛 Dropout、DropConnect 和 Flipout，使神经网络得以提高。我们使用超带状贝叶斯优化进行高效的超参数优化，以找到值得信赖的地形分类的最佳模型。

    Jul, 2024