- LeMo-NADe: 使用 LLMs 进行多参数神经架构探索
通过用户定义的参数、专家系统和基于大量开放领域知识训练的 LLM,我们引入了一个新的框架(LeMo-NADe),用于自动发现基于用户定义参数的新的神经网络架构。该框架专为非人工智能专家设计,不需要预先确定的神经结构搜索空间,并考虑大量特定于 - 一个神经重写系统用于解决算法问题
我们提出了一种用于学习算法任务的原创方法,该方法受符号人工智能中的重写系统的启发,该系统由专门的模块组成的神经结构实现,通过系统地应用组合规则来解决超出分布的问题实例。
- 基于数据驱动的鲁棒自动钢琴转录分析
通过研究训练数据的角度,本文通过在 MAESTRO 数据集的原始和重新执行版本上使用各种数据增强技术,获得了 MAPS 数据集的最新音符起始准确性,而无需查看其他的训练数据。
- 探索质数分类:以稀疏编码实现高召回率和快速收敛
该研究论文介绍了一种机器学习和数论相交的新方法,关注的是素数和非素数的分类。研究的核心是开发了一种高度稀疏的编码方法,与传统的神经网络结构相结合。这种组合已经显示出有希望的结果,在识别自然存在不平衡的整数序列中的素数方面,召回率达到 99% - ICLR推广 LipSDP: 新型二次约束用于超越斜率限制的激活函数
我们的研究拓展了 LipSDP 方法,提供了新的约束条件,以估计一类富有的神经网络结构的 L2 和 L∞ Lipschitz 边界,包括非残差和残差神经网络以及隐式模型,其激活函数包括 GroupSort、MaxMin 和 Househol - 基于时间感知的多维持久性动态对象的知识表示
提出一种名为 Temporal MultiPersistence(TMP)的新方法,它使用现有的单参数拓扑摘要来产生数据的多维拓扑指纹,主要专注于多个几何维度上的隐式时态拓扑信息,并展示了其在交通流量、以太坊区块链和心电图数据集上的优越性能 - Stack Overflow 回答中信息突出的初步研究
我们的研究发现,可以开发推荐模型来突出展示 Stack Overflow 上具有不同格式样式答案的信息。
- 运算符学习的数学指南
运算符学习是从数据中发现底层动力系统或偏微分方程的特性的过程。本文介绍了一个逐步指南,用于运算符学习,解释了适用于运算符学习的问题类型和偏微分方程,讨论了各种神经网络架构,并解释了如何有效使用数值 PDE 求解器。我们还提供了关于运算符学习 - 高效准确的高光谱图像解模糊神经网络架构
神经网络架构在高光谱图像去马赛克中具有有效性,实验结果表明我们的网络模型在数据集上优于已有模型,并强调正确的光谱重建是实际应用中的关键。
- 旅游中的情感分析:BERT 微调还是句子嵌入串接?
比较研究了 Fine-Tuning 的 Bidirectional Encoder Representations from Transformers 和一种将两个嵌入进行串联以提高堆叠的 Bidirectional Long Short- - 使用 Transformer 实现功能梯度下降来学习上下文中的非线性函数
很多神经网络架构都被证明是图灵完备的,然而,变压器在简单参数配置下能够实现基于梯度的学习算法,包括非线性激活函数情景下学习非线性函数的理论和实证研究。
- 处理多样化神经结构的图元网络
通过构建图形元网络,将权重从其他神经网络作为输入,我们的 Graph Metanetworks (GMNs) 方法解决了处理对称性和参数空间几何的困难,有效地推广到多种神经网络架构,并验证了其有效性。
- 表达符号等变网络用于谱几何学习
在这项工作中,我们展示了对于构建正交等变模型和学习图中节点位置编码等任务,标志等变性受到理论上的限制,然而我们通过开发新颖的标志等变神经网络架构来展示了标志等变性的好处。
- 基于信道图的模型化深度学习用于波束预测
通过引入先进的模型化神经网络结构,本文提出了用于信道绘图和波束预测的方法,并在实际合成信道上进行评估,取得了有希望的结果。
- 现实世界中的 GVFs:在线为水处理进行预测
使用基于强化学习的预测方法研究实际饮用水处理厂,描述数据集中的挑战和使用离线数据预训练临时差异学习代理的方法,并证明实时适应预测对于实际非平稳的大容量系统至关重要。
- 神经马尔科夫逻辑
近期 AI 的快速进展主要是由于神经网络架构的创新推动。本文提出了一种工具,旨在辅助进一步创新架构的设计,并简单而准确地表达其结构。我们提出了基于马尔可夫逻辑和 Prolog 的语言 Neural Markov Prolog (NMP),作 - 将语言知识注入 BERT 用于对话状态跟踪
通过无监督框架从语言知识中提取信息,并利用该知识增强和解释 BERT 在对话状态追踪任务中的性能,进而实现对 DST 模型决策过程中影响其性能的语言特征的全面理解。
- DeepClean: 通过重置隐私敏感权重使用 Fisher 对角线的低成本机器遗忘
我们提出了一种轻量级的遗忘算法,利用费舍尔信息矩阵(FIM)进行选择性遗忘,通过计算 FIM 的对角元素以实现全面遗忘,同时最大程度减少对保留数据的影响,从而提供了可解释性、轻量级和高效的解决方案,可有效保护隐私并可应用于各种神经网络架构。
- 深度神经网络在 PET / CT 图像中检测和量化淋巴瘤病变的全面评估与洞察
本研究通过对四种神经网络架构(UNet、SegResNet、DynUNet 和 SwinUNETR)在 PET/CT 图像中进行淋巴瘤病变分割的全面评估,并在多种机构的 611 个病例的多样化数据集上进行训练、验证和测试。利用内部测试和未见 - ICML面向具有不同输入图像尺寸和输出类别数量的客户端的可扩展联邦学习
提出了一种名为 ScalableFL 的有效的联邦学习方法,根据客户端的输入图像大小和输出类别的数量调整本地模型的深度和宽度,并提供了联邦学习的推广差距的新的界限。在几个异构客户端设置下,通过图像分类和目标检测任务展示了 ScalableF