本篇论文全面综述了现今人工神经网络中基于仿生学学习机制的表示，研究了加入更多仿生意义机制如突触可塑性以加强网络能力的可能性和挑战，并找到未来的研究方向，以更深入理解智能的本质。

May, 2023

人工神经网络（ANN）通过成功训练来解决任务后，学到的是训练项集还是它们之间的关系？在现代应用的 ANN 中，这个问题很难回答，因为其规模和复杂性巨大。因此，我们在这里考虑一个低维网络和一个简单任务，即网络必须完全复制一系列训练项。我们通过分析构建了解析解的解集家族，并使用标准的学习算法得到数值解。这些数值解根据优化算法和权重初始化的不同而不同，并且被证明是解析解解集的特定成员。在这个简单的设置中，我们观察到网络权重的一般结构表示训练集的对称群，即训练项之间的关系。因此，线性网络具有泛化能力，即可以复制不属于训练集但与训练集的对称性一致的项。相反，非线性网络倾向于学习各个训练项，并显示出联想记忆的特点。同时，它们的泛化能力有限。具有包含线性区域的激活函数（如 tanh）的网络具有更高程度的泛化能力。我们的结果表明，ANN 的泛化能力可以通过生成足够大的基本操作集来表示关系，并且它强烈依赖于应用的非线性特性而得到改善。

Apr, 2024

本研究提出一种模拟语言特征的通信协议，通过将高维信息编码为低维表示来分析对任务表现的影响，进而提高任务完成率，并强调了语言作为代理之间共同表征的作用及其对泛化能力的影响。

May, 2023

本文介绍了机器学习和人工神经网络在下一代无线通信网络中的应用，涵盖了前馈神经网络、循环神经网络、脉冲神经网络和深度神经网络等不同类型，并讨论了无人机通信、虚拟现实和边缘缓存等无线通信问题和挑战。作者提出了未来可能的研究方向，对开发满足未来无线网络需求的机器学习技术提供了全面的指南。

Oct, 2017

该研究审查了通过提出分类法来将人类可理解的概念与神经网络中的内部表示相对应的研究，并发现了与模型可解释性目标有关的文学研究中的歧义，即是理解机器学习模型还是在部署领域有用的可行解释。

Dec, 2022

通过生物学上的神经元网络组合中的多种互补机制，可以在人工神经网络中实现连续学习。

Apr, 2023

研究了一个自然语言处理人工系统中句子的表征，分析表明存在一些启发式策略，通过训练分布，这些系统可以学习抽象规则并将其推广到新的环境中，但也存在一些推广行为上的缺陷。

Sep, 2019

本文研究了平均场变分贝叶斯神经网络的表示能力，发现相比于标准深度神经网络，BNN 更不可能编码复杂的概念，但这并不一定意味着表示能力差。

Feb, 2023

神经科学，人工神经网络，统计力学，Hopfield 网络和 Boltzmann 机器是人工神经网络领域的主要研究课题。通过研究人工神经网络中的丢失函数的几何特征和可视化方法，可以提高其优化行为、泛化能力和整体性能。

Apr, 2024

人类和深度神经网络在图像分类领域进行了许多行为比较的最新研究。我们报告了如何在人类观察者和各种经典和最先进的深度神经网络中获取可迁移表示的详细调查结果。发现表明，就绝对分类性能而言，深度神经网络展示了与人类学习者相媲美甚至超过的数据效率水平，挑战了该领域的一些主流假设。然而，整个学习过程中的比较揭示了显著的表征差异：深度神经网络的学习过程具有明显的泛化滞后，而人类似乎立即获得可泛化的表示，无需预备性学习训练集特定信息，这些特定信息只在之后被转移到新数据上。

Feb, 2024