一个深度网络用于灵活地组合情节记忆

ICLRJan, 2020

一个深度网络用于灵活地组合情节记忆

MEMO: A Deep Network for Flexible Combination of Episodic Memories

Andrea Banino, Adrià Puigdomènech Badia, Raphael Köster, Martin J. Chadwick, Vinicius Zambaldi...

TL;DR发展神经网络结构与外部存储器的最近研究，为了更仔细地探究现有记忆增强框架的推理能力，我们使用了以前认知神经科学文献中的经典关联推断任务，其捕捉跨越多个事实或记忆分布的元素之间的远距离关系，结果表明当前架构在处理长距离关联推理时存在困难，因此，我们开发了 MEMO，这是一种能够处理长距离关联推理的体系结构，它包括两个新的组件：一是在外部存储器中存储记忆体（事实）和组成这些记忆体的项之间的分离，二是采用自适应检索机制，在产生答案之前允许可变数量的 “记忆体跳跃”，MEMO 能够解决我们的新推理任务，并且匹配 bAbI 的最新结果。

Abstract

Recent research developing neural network architectures with external memory have often used the benchmark bAbI question and answering dataset which provides a challenging number of tasks requiring reasoning. Her

neural network architectures external memory memory-based reasoning associative inference task reasoning capacity

发现论文，激发创造

FPGA 上快速、可扩展、节能的非逐元素矩阵乘法

该论文提出了一种高吞吐量、可扩展和节能的非逐元素矩阵乘法单元，作为神经网络的基本组件。通过优化近似矩阵乘法算法以及专用的存储和访问设计，该单元在 FPGA 上实现了高效的矩阵乘法，大大提高了 FPGA 上基于量化神经网络的加速器的吞吐量和能效。

Jul, 2024

稀疏激活下的神经网络学习

许多成功的神经网络结构中的核心组件是一个具有非线性激活函数的两个全连接层的 MLP 块。我们在本文中对展示出激活稀疏性的 MLP 层的 PAC 可学习性进行了形式化研究，并呈现了多种实验结果，表明这类函数相对于非稀疏的对应物具有计算和统计上的优势。我们希望对 “激活稀疏” 的网络有更好的理论认识，以便能够在实践中利用激活稀疏性。

Jun, 2024

基于心电图的死亡风险预测基准测试

研究使用大型医院拥有的心电图数据库来建模和预测患者死亡率，通过与两种神经网络架构比较四种深度存活建模方法以及在一到十年内的绩效评估，结果表明 AUROC 和协调性得分与以往工作相当（约 0.8），考虑到与死亡率相关的心电图样本的比例（MIMIC-IV：27％，Code-15：4％），AUPRC 得分合理（MIMIC-IV：0.4-0.5，Code-15：0.05-0.13）。

Jun, 2024

迈向归纳偏差的精确计算

我们提出了一种计算归纳偏差的新方法，该方法涉及对来自假设空间的随机假设的损失分布进行建模，以估计相对于这些假设需要的归纳偏差，从而提供了一种信息理论解释特定模型架构对特定任务的好处的度量，并为开发需要更大归纳偏差的任务提供了定量指导，从而鼓励更强大的归纳偏差的发展。

Jun, 2024

Younger: 首个用于人工智能生成的神经网络架构的数据集

从超过 174K 个真实世界模型中获取的 Younger 数据集，其中包括 7,629 个唯一的网络结构，通过提供全局和局部的设计模式，推动了人工智能生成神经网络架构的新领域发展，并作为基准数据集进一步发展图神经网络的研究。

Jun, 2024

LeYOLO，用于目标检测的新型可扩展高效 CNN 架构

基于 FLOP 的高效目标检测计算的神经网络架构设计选择和优化方法，LeYOLO 提供了在不同资源限制下性能优越的计算负载和准确率比例。

Jun, 2024

卷积科尔莫哥洛夫 - 阿诺德网络

这篇论文提出了卷积科尔莫戈洛夫 - 阿诺德网络（Convolutional KANs），这是标准卷积神经网络（CNN）的一种创新替代方法，我们将科尔莫戈洛夫 - 阿诺德网络（KANs）中的非线性激活函数集成到卷积中，构建出一个新的层。我们在 MNIST 和 Fashion-MNIST 基准测试中对 Convolutional KANs 的性能进行了实证验证，表明这种新方法在准确性方面保持了类似水平，同时只使用了一半的参数。这种参数量的显著减少打开了推进神经网络架构优化的新途径。

Jun, 2024

基于混沌 Chua 电路的新型储备计算核心及其在后量子密码学中的应用研究

本研究旨在基于混沌 Chua 电路开发一种新的储层计算机实现。该实现被应用于后量子密码学，研究并评估了其适用性。研究结果表明，Chua 基础的储层计算机在当前文献基准下具有低误差，但在解决后量子密码学中高非线性问题方面不足够复杂。未来的研究将探索在更大的神经网络结构中使用多个 Chua 储层计算机的不同组合，以实现所需的高维行为来解决学习中的错误问题。该研究为 Chua 基础的储层计算机在学术界的应用提供了第二个案例，并首次应用于后量子密码学等具有挑战性的实际任务。研究还通过调查迄今为止未探索的参数及其对性能的影响展示了创新性，并证明了一种可批量生产、廉价且低功耗的硬件神经网络的概念验证，为后续研究奠定了基础，为 Chua 基础的储层计算机在各种应用中的使用铺平了道路。

Jun, 2024

基于动态（图）神经网络的规则学习

通过将规则函数从知识中生成并使用这些规则定义基于规则的层，我们提出了一种解决经典神经网络体系结构中难以自然整合额外信息或专家知识进入学习过程的问题的两步方法。我们的研究重点是第二步，即基于规则的层，它们旨在根据输入样本动态地安排可学习参数在权重矩阵和偏差向量中。我们证明了我们的方法通过选择适当的规则来广义化传统前馈层，如全连接层和卷积层。我们提出了基于规则的图神经网络（RuleGNNs）作为一个具体的应用，克服了普通图神经网络的一些限制。我们的实验结果表明，RuleGNNs 的预测性能与使用基于 Weisfeiler-Leman 标签和模式计数的简单规则的最先进图分类器相当。此外，我们引入了新的合成基准图数据集，展示了如何将专家知识整合到 RuleGNNs 中，使它们比普通图神经网络更强大。

Jun, 2024

智能多视图测试时间增强

通过智能测试时间增强 (TTA) 算法，在视角变化的情况下提高图像分类模型的稳健性和准确性，该方法根据预测不确定性指标智能选择最佳增强方法，并通过两个阶段的过程来实现该选择，实验验证证明这种方法可以在多个数据集和神经网络架构上获得平均准确率提高 1.73%，突出了在智能增强策略方面进一步探索的潜力。

Jun, 2024