- 上下文学习是一种基于梯度的学习吗？来自结构引导中反向频率效应的证据
大型语言模型（LLMs）已显示出上下文学习（ICL）的新兴能力。研究对 ICL 的解释之一是将其功能性视为梯度下降。本文介绍了一种诊断 ICL 是否与基于梯度的学习具有功能等价性的新方法。我们的方法基于反向频率效应（IFE）- 一种错误驱动 - 可微分任务图学习：程序化活动表示和基于自我感知视频的在线错误检测
通过最大似然优化边权重的方法，从动作序列中预测任务图，与之前的方法相比提高了 16.7% 的准确性；同时可通过文本或视频嵌入来预测任务图，并在程序性自我中心视频中显著提高在线错误检测的准确性，分别在 Assembly101 和 EPIC-T - 循环神经网络：梯度消失和梯度爆炸并非问题的终点
递归神经网络在学习长期记忆方面存在困难，而最近基于状态空间模型的 RNN 取得的成功挑战了我们的理论理解。我们的分析揭示了元素逐个递归设计模式和谨慎参数设置在缓解这种效应方面的重要性，这一特征存在于状态空间模型及其他架构中。总体而言，我们的 - 利用最优放置重采样的可微粒子滤波
提出了一种可微分的重采样方案，通过从经验累积分布函数进行确定性采样，用于粒子滤波器的参数推断和提议学习任务。
- 主题、领域和语言变化的桥梁：综合离域场景的评估
在真实世界中，语言模型在超出分布范围的场景中的泛化能力变得更低，基于提示的微调方法在语义差异较大的任务中表现更好，而基于梯度的学习存在结构障碍的偏差问题。
- 基于梯度的结构化数据特征学习
最近工作表明，基于梯度的学习单指数模型的样本复杂度受其信息指数的控制。然而，这些结果仅涉及各向同性数据，而实际上输入通常包含其他可隐含地指导算法的结构。在本文中，我们研究了一个带尖峰协方差结构的影响并揭示了一些有趣的现象。
- dPASP：面向神经符号学习和推理的全面可微概率答案集编程环境
我们提出了 dPASP，一种新颖的声明性概率逻辑编程框架，用于可微的神经符号推理。该框架允许使用神经谓词、逻辑约束和区间值概率选择来指定离散概率模型，从而支持低级知觉（图像、文本等）、常识推理和（模糊的）统计知识的模型。我们讨论了可以表达非 - 元值学习：具备学习认知能力的一般性学习框架
在多智能体系统中，基于梯度的学习很困难，LOLA 通过在一步优化中不同化来解决这个问题，我们通过扩展 LOLA 的思想并开发出一种完全通用的基于价值的优化方法，核心是一个称为元 - 价值的函数，它在联合策略空间的每个点为每个智能体给出折现未 - 最大最小网络
本文描述了一种替代梯度下降算法的离散 MinMax 学习方法，通过使用缩减理论，将该算法从连续情况扩展到离散情况。通过该方法，解决了基于神经元组合的梯度下降学习中的最优性问题和成本函数问题。
- ICML使用可微分遗忘方法处理分布偏移下的时间序列预测
本文提出了一种基于加权经验风险最小化的方法处理时间序列预测中的分布偏移问题，具有遗忘机制和基于梯度的学习方法，可提高优化效率和参数灵活性。
- 基于梯度的神经形态学动态 RRAM 数组学习
采用 MEMprop 算法的梯度学习方法，通过基于模拟 SPICE 模型的脉冲神经元和突触直接应用 BPTT 训练算法，实现了全电子脉冲神经网络的训练，省略了寻找峰值的操作，进而提高精度。
- ICLR组合算法反向传播：使用投影身份函数
这篇论文提出了一种新的方法，利用离散解空间的几何性质，将求解器作为反向传播的负单位，并进一步提供了理论证明，实验结果表明，这种简单的超参数无需方法能够与以前的更复杂的方法竞争。
- 同意不同意：通过异议实现更好的可转移性的多样性
本文提出 D-BAT 算法，通过学习一组包含多样化的预测特征的模型，解决了梯度学习在样本库之外泛化的问题，同时在多个实验中得到了证实。
- 基于梯度的学习的范畴基础
本文提出了一种基于 lens、参数化映射和反向导数类别的梯度机器学习算法的范畴语义学方法。该方法不只包含了 ADAM、AdaGrad 和 Nesterov momentum 等多种梯度下降算法，还将 MSE 和 Softmax 交叉熵等多种 - ICMLSoftSort: argsort 运算符的连续弛豫
本研究提出了一种简单的连续松弛方法来克服 argsort 算子在基于梯度的学习中出现的问题，该方法具有较高的计算性能，并能实现最新的性能水平，为了证明其正确性，本文开源了代码来重现所有实验和结果。
- 基于梯度的自适应马尔科夫链蒙特卡罗
本研究提出使用基于梯度的学习方法来自适应马尔可夫链蒙特卡罗（MCMC）提议分布，应用随机梯度优化能通过定义的最大熵正则化目标函数来优化提议分布的参数，并证明相比传统自适应 MCMC 方法，该方法带有更高的性能；并应用于多元随机步长 Metr - gradSLAM：自动化可微分 SLAM
提出了一种叫 gradSLAM 的方法，将传统的 SLAM 系统转化为可微分的计算图，并融合了表示学习和深度学习技术，让 SLAM 系统具备了梯度反向传播能力，从而更好地进行优化和学习任务。
- 改进循环神经网络的门控机制
通过引入两个改进标准门控机制的修改，解决了门控机制在饱和状态下学习梯度的问题，在模拟记忆任务、序列图像分类、语言建模和强化学习等应用中有效提高了循环模型的性能。
- ICLRDiffTaichi: 物理模拟的可微编程
DiffTaichi 是一种新的可微编程语言，专为构建高性能的可微物理模拟器而设计，演示了它在 10 个不同物理模拟器的梯度学习和优化任务中的性能和生产力，可以用于优化神经网络控制器。
- 基于梯度的超几何空间上的包裹正态分布学习
本文提出了新的伪超柏格分布，它是一种基于测地线距离的高斯分布，可用于超半径空间的概率模型。我们展示了该分布在超半径空间上的应用，包括超半径变分自编码器和超半径概率词嵌入。在 MNIST、Atari 2600 Breakout 和 WordN