- 关于学习带有注意力移动的空间序列
我们重新思考了空间序列的数学表示方法,提出了两种假设来解释抽象形成的方式,并将注意力移动视为人类认知的核心,将相关教训应用于更好的学习算法。
- 一种适应性标准化模型用于日前电力价格预测
通过引入自适应标准化来缓解市场中常见的数据集变化效应,学习算法可以优先揭示目标变量和解释变量之间的真实关系,从而提高预测模型性能。
- 局部 Borsuk-Ulam 定理,稳定性和可复现性
使用并改编拓扑学中的 Borsuk-Ulam 定理来推导对列表可复制和全局稳定学习算法的限制,在组合学和拓扑学中进一步展示了我们方法的适用性,并发现在无初始假设能力类设置下,列表可复制和全局稳定学习均不可能。
- 使用最佳顺序分数搜索和增长缩小树快速可扩展精确发现有向无环图
通过引入最佳次序得分搜索(BOSS)和增长 - 收缩树(GSTs)方法,我们在学习因果图过程中提出了一种有效的方法,其能够解决包含数百个高度连接变量的问题,例如从 fMRI 数据中恢复脑网络。通过在变量的排列组合上进行贪婪搜索,并使用 GS - 基于因果结构的文本 OOD 泛化的增强
通过使用反事实数据增强、基于数据的因果结构模拟对虚假特征的干预,以及采用大型语言模型来表示文本的条件概率,该论文介绍了一种改善文本分类器鲁棒性的方法,并通过在医疗叙述和半合成数据上进行广泛实验,证明了该方法对改善模型的预测能力具有积极效果。
- 音频适配器融合:高效无需任务 ID 的非破坏性多任务语音识别
提出了三种无任务 ID 的方法来结合多任务 ASR 中的单任务适配器,并研究了两种训练算法。在来自 4 个不同 ASR 任务的 10 个测试集上评估了我们的方法,结果表明我们的方法不会造成破坏并且参数利用率高。相对于完全微调,我们的方法只更 - GDL-DS:基于分布偏移的几何深度学习基准
提出了 GDL-DS,一个综合的基准评估,旨在评估 GDL 模型在具有分布偏移的场景中的性能,涵盖多样的科学领域,包括粒子物理学、材料科学和生物化学,并研究了三个层次的信息访问从测试数据中获取,对于 DGL 研究者和领域从业者在应用中使用 - 可转移的可用性毒化攻击
用于训练数据的小扰动攻击机器学习模型的可用性数据中毒攻击有可能泛化到不同的学习算法和范式,并提出了可转移的中毒攻击来生成高频中毒扰动,该攻击具有显著改善的可转移性。
- 从 Nisan 的自然证明中分布式 PAC-Learning
自然证明能够推导有效学习算法的条件在分布式 PAC 学习模型中得以推广,证明了我们的主要结果,以及对深度 - 2 多数电路、多面体和自然目标分布中的 DNFs 的分布式 PAC 学习算法的应用以及通过深度 - 2 多数电路评估的编码输入弱 - 多边生成建模与随机插值
通过学习解释多种概率密度函数的联合分布,该研究提出了一种多边际生成建模问题的方法,该方法在随机插值框架的扩展中,通过测度的动态传输构建高效的学习算法,并在多边际视角下提取多边对应关系,从而在风格转换、算法公平性和数据修复等应用中发挥作用。
- 通过学习离散函数来理解 Transformer 和 LLM 中的上下文学习
为了理解上下文学习现象,最近的研究采用了一个简化的实验框架,并证明了 Transformer 可以学习各种实值函数的基于梯度的学习算法。然而,Transformer 在实现学习算法方面的局限性以及其学习其他形式算法的能力尚不明确,而这些能力 - 持续学习中参数隔离的保证
深度学习中的灾难性遗忘及其关联算法的几何性质研究和保证
- 学习制定注重依从性的建议
考虑到人对人工智能建议的忽视以及人工智能在最相关时刻有选择性地提供建议的需要,本文提出了一个顺序决策模型,该模型考虑到人的依附水平并引入了一个推迟选项,以便机器能够暂时不提供建议,并提供了能够学习最佳建议政策并仅在关键时间点提供建议的学习算 - 多单元软传感实现少样本学习
通过使用深度神经网络,本研究探索了多单元软传感器的学习能力,并且证明在足够数量的任务下,即使只在少量数据点上进行几次学习,也能在新的单元上取得很高的性能。
- 对成对肾脏交换项目中公平学习的惩罚与奖励
肾脏交换计划通过动态算法选择器官交换,学习算法提高整体效果,尤其强调公平性与等待时间的减少。而决定交换计划效果的关键因素是对非指定捐赠者的负权重分配。
- MM无纠缠下的 Pauli 通道学习的严格界限
展示了不利用纠缠态的学习算法需要 Theta (2^nε^-2) 轮测量来估计 n-qubit 保利(Pauli)通道的每个特征值到 ε 误差,并对不使用纠缠态的学习算法的紧密下界进行了证明。
- 面向机器学习的微型机器学习调查
综述了 TinyML 的学习算法、系统实现工作流程、模型优化与设计、硬件设备和软件工具的特点,以及挑战和未来方向。
- 神经特征学习的几何框架
基于神经特征提取器和图形结构,我们提出了一个新颖的学习系统设计框架,并使用特征空间中的几何结构进行学习问题的建模。我们通过嵌套技术设计学习算法,从数据样本中学习最佳特征,进而应用于现成的网络架构和优化器,同时我们还探讨了多元学习问题,包括条 - 通过图模型证实学习量子态
学习具有接近神经网络量子态的性质的量子态的鲁棒性算法,从而在样本复杂度上表现出指数级的改善。
- 稀疏二进制超向量的认知建模与学习
基于 VSA 理论框架,提出了一种使用稀疏二进制超向量的认知模型,并引入学习算法来从输入数据流中引导模型的训练,在有效性和透明度方面有了显著改进。该模型模拟人类认知过程,在会话中可以进行在线训练,并探索了在自然语言处理领域中利用这些超向量进