使用二次计算方法重新思考高阶交互神经网络设计，提出了 QuadraNet 的综合模型设计方法，通过利用二次神经元的内在高阶优势和专门的计算优化方案，实现了最佳的认知和计算性能。

Nov, 2023

通过引入高阶人工神经元，本论文介绍了具有增强的学习能力的二次神经元、解决 XOR 问题的方法以及应用于前向神经网络的全矢量化方程。与隐藏层神经元数量相比，仅利用一层二次神经元可以使网络在更少的隐藏层神经元的情况下实现更高的准确性，从而在基准分类数据集上取得了显著的成果。

Oct, 2023

本篇论文研究了深度神经网络的低精度模型的训练方法，探讨了在小型设备上训练深度神经网络的难点，提出了一种理论视角下的量化训练方法，并探索了非凸问题下的算法行为模型。

Jun, 2017

本研究探讨了一种新型的神经元 —— 二次人工神经元，在深度学习模型中取代了传统神经元的内积运算，研究了其模型表达能力、训练稳定性等问题，提出了一种名为 ReLinear 的训练策略，发现二次人工神经元在机器学习任务中具有最优表现。

Oct, 2021

本文提出了一种高效的二次神经元结构，能够提高卷积神经网络的表现，并在分类任务中实现了更高的精度和更好的计算效率。

Jun, 2023

该研究论文介绍了一种名为 HadaNets 的新型神经网络模型，可以在不占用太多内存和训练时间的情况下有效地训练和推理深度神经网络，同时具有优秀的模型压缩性能。

May, 2019

LoQT 是一种用于高效训练量化模型的方法，它使用基于梯度的张量分解来初始化可训练的低秩权重矩阵，并周期性地合并到量化全秩权重矩阵中。我们发现 LoQT 使得在消费级 24GB GPU 上能够高效地训练高达 7B 参数的模型，并且还展示了在相同硬件上使用逐层梯度更新训练 13B 参数模型的可行性。

May, 2024

本文提出了一种名为 Pre+TTN-VQC 的学习方法，将一个预训练的张量列网络（TTN）集成到 TTN-VQC 架构中，以缓解 Barren Plateau 问题并提高量子神经网络的表示和概括能力，实验验证了该方法在手写数字分类中的有效性。

May, 2023

在本文中，我们提出了一种新的框架来增强可训练的量子卷积神经网络（QuNNs）的性能，通过引入可训练的 quanvolutional 层并解决与其相关的关键挑战。我们的研究通过在这些层中实现训练，显著提高了 QuNNs 的灵活性和潜力。我们引入多个可训练的 quanvolutional 层，为基于梯度的优化引入了复杂性，并通过在层之间添加 skip 连接的残差学习概念，提出了一种新的架构 Residual Quanvolutional Neural Networks（ResQuNNs），从而解决了梯度访问的困难。通过在 QuNNs 中插入残差块，我们确保了网络中的增强梯度访问，从而提高了训练性能。通过广泛的实验，我们发现在 QuNNs 中合理放置残差块对于最大化性能提升至关重要。我们的发现对量子深度学习的发展和实际量子计算应用提供了新的途径。

Feb, 2024

将生物神经元属性纳入人工神经网络以增强计算能力是机器学习领域中面临的重大挑战，我们提出了一种新颖的人工神经网络模型 DIQNN (Dendritic Integration-Based Quadratic Neural Network)，该模型在各种分类任务中表现出优于传统人工神经网络的性能。为了降低 DIQNN 的计算成本，我们介绍了一种低秩 DIQNN，发现它可以保持原始 DIQNN 的性能。我们进一步提出一个边界来描述泛化误差，并在理论上证明该边界在训练过程中会单调增加。我们通过数值实验展示了泛化性和我们的边界之间的一致性。最后，通过将该边界整合到损失函数中，我们的实验结果证明了测试精度的变化确实得到了加速。我们的工作提供了一种新颖的、受大脑启发的人工神经网络模型，优于传统人工神经网络，并提供了分析分类任务中泛化误差的理论框架。

May, 2023