使用文档结构学习长文档中的搜索
在空间探索中，地形分类是一项重要任务，其中无法预测的环境难以仅依靠外部感知传感器（如视觉）进行观测。通过引入神经网络分类器，可以实现高性能，但由于缺乏透明性，这使得它们在任务规划中做出重要决策时不可靠。本文提出了一种带有不确定性量化的神经网络地形分类方法。我们通过在时间序列可用体系结构中使用只有本体感知数据作为输入的蒙特卡洛 Dropout、DropConnect 和 Flipout，使神经网络得以提高。我们使用超带状贝叶斯优化进行高效的超参数优化，以找到值得信赖的地形分类的最佳模型。
Jul, 2024
ShiftAddAug 使用昂贵的乘法增强了高效但较弱的无乘法操作符，通过将 ShiftAdd 小型神经网络用作大型乘法模型的子模型进行训练，并鼓励它获得额外的监督，以解决混合操作符之间的权重差异问题。此外，采用新的权重共享方法和新的两阶段神经架构搜索方法，获得更好的增强效果以用于更小但更强大的无乘法小型神经网络。在图像分类和语义分割实验中，验证了 ShiftAddAug 的优越性，持续提供显著的改进。特别是在 CIFAR100 上，相较于直接训练的对照组，其精度提高了 4.95%，甚至超过了乘法神经网络的性能。
Jul, 2024
通过压缩视频动作识别，利用压缩视频中的不同模态（运动矢量、残差和帧内数据）对视频样本进行分类，本研究提出了逐步知识蒸馏（PKD）和加权推理与缩放集成（WISE）两种策略，通过知识传递和模态间的层级收敛关系，提高内部分类器（IC）的准确性，并在实验中证明了它们对 UCF-101 和 HMDB-51 数据集准确率的改善。
Jul, 2024
探讨了在联邦学习环境中使用 8 位浮点数（FP8）进行训练的方法，该方法不仅可以有效地训练神经网络并减少计算开销，还能通过显著的权重压缩来减少客户端和服务器之间的通信成本。实验结果表明，与 FP32 基准相比，在各种任务和模型上，我们的方法始终能够至少将通信开销降低 2.9 倍。
Jul, 2024
通过设计一种新的任务模型，利用神经网络和目标函数，实现了一种能够将分类器转换为生成模型的新方法，称为 “操作器”。通过直接将任务规范转换成代码，操作器展示了风格转换和可解释的潜在空间编辑等功能，无需使用自定义架构、对抗训练或随机抽样。并与生成对抗网络（GANs）进行了形式化的关系分析，并通过实证研究证明了操作器与变分自编码器（VAEs）在性能上的竞争力。
Jul, 2024
使用 ReLU 激活函数和 Free Knot Splines 等传统方法进行浅层神经网络的一维函数逼近问题的研究，通过优化 ReLU NN 的训练程序，结合等分布原理提供了一种可靠的方法来获得准确的 ReLU NN 逼近目标函数的结果。
Jul, 2024
我们提出了两种基于神经网络的方法，用于纯态和混合态量子状态重构，并通过与现有神经网络方法的比较评估其有效性。我们证明了我们提出的方法在从实验数据中重建混合态量子状态方面可以达到最先进的结果。我们的工作强调了神经网络在革命性量子态重构和促进量子技术的发展方面的潜力。
Jul, 2024
大型语言模型可在知识图谱上进行创新的问答，但未本质上为查询生成而设计。为弥合这一差距，提出了依赖微调或特定架构的解决方案，取得了良好结果但领域外分布泛化有限。在本研究中，我们介绍了一种名为动态少样本学习（DFSL）的新方法。DFSL 整合了上下文学习和语义相似度的效率，并为 KGQA 提供了普遍适用的解决方案，具有最先进的性能。我们在多个基准数据集和架构配置上进行了广泛评估。
Jul, 2024
介绍了一种名为 NCP（神经条件概率）的新型算子理论方法，用于学习条件分布并重点关注推断任务。NCP 可用于构建条件置信区间、提取条件分位数、均值和协方差等重要统计量。通过利用神经网络的强大近似能力，该方法有效处理各种复杂概率分布，能够处理输入和输出变量之间的非线性关系。理论保证了 NCP 方法的优化一致性和统计准确性。实验证明，使用简单的具有两个隐藏层和 GELU 激活函数的多层感知机（MLP），我们的方法可以与领先的方法相媲美甚至超越，展示了在更复杂的架构中，基于理论的损失函数的最小化结构可以在不损失性能的情况下取得具有竞争力的结果。
Jul, 2024