- 分类的大边缘判别损失
这篇论文介绍了一种在深度学习背景下具有较大边界的新型判别性损失函数,通过提高神经网络的判别能力,即类内紧凑性和类间可分性,来优化特征空间,同时通过数学分析关系、设计策略和研究泛化误差,提高模型的测试准确性。
- 语言笔者大:LLMs、ChatGPT、接地、意义与理解
ChatGPT 是如何运作并具备超过预期能力的?本文通过与 ChatGPT-4 对话的方式,对 ChatGPT 作出解释,包括与语言自身相关的良性偏见、语言的间接语义基础以及神经网络中的类别学习等。
- 早期和晚期隐性偏见的二分法可以显然地引发 Grokking
该研究探讨在理论环境中学习算术任务中的 “理解” 现象,并表明它可以通过早期和晚期的内隐偏差引发。具体而言,当使用大初始化和小权重衰减的同质神经网络在分类和回归任务上进行训练时,我们证明训练过程会长时间陷入与核心预测器对应的解决方案,然后发 - 通过数据集提炼发现星系特征
使用神经网络和数据集精炼技术研究星系分类任务中的形态特征及其可视化,同时自适应匹配轨迹算法改进了计算机视觉性能。
- 跨图像上下文对于邦加德问题至关重要
现有的机器学习方法在解决博加德问题方面存在困难,不仅是因为神经网络缺乏人类化的符号规则找寻能力,更因为许多方法仅仅依靠从个体支持集中提取的信息而未整合整个支持集所包含的信息,而我们探索了多种简单的方法来考虑这种跨图像的上下文,并展示了相较之 - 离散神经网络与多态学习
通过广义代数中的定理(如 1970 年代的 Murski 定理),与 1980 年代 Cybenko 等人提出的神经网络的普遍逼近结果之间存在着惊人的相似性,我们在这里考虑了经典神经网络概念的离散模拟,将这些结果统一起来,并介绍了一种基于关 - 选择模型与置换不变性
本文介绍了一种基于非参数估计的选择模型,该模型使用神经网络逼近各种现有选择模型,并扩展到包括对内生特征的估计,同时介绍了一种有效的置信区间构建方法,使用真实数据进行了实证分析,并验证了其在实际应用中的可行性。
- 学习可分数据的两层神经网络的快速收敛
本文探讨了如何在两层神经网络上使用标准化的梯度下降算法,证明了使用标准化梯度下降算法可以实现指数尾数损失函数的快速收敛,并讨论了凸性目标的归纳性及过拟合问题。
- 神经网络何时在表格数据上优于增强树?
该研究分析了在标签数据上使用神经网络(NN)和梯度增强决策树(GBDT)的性能差异,发现针对不同数据集,NN 和 GBDT 的表现各有千秋,需要根据数据集来选择合适的算法并进行超参数调优。
- FlowMap: 交通流量下无人驾驶车辆的路径生成
本文提出了一种基于交通流的路径生成框架 FlowMap,该框架可以为自动驾驶车辆生成人类模拟路径,并且可以在不使用高精度地图的情况下应对超级复杂的十字路口。
- 核方法在算子学习中有竞争力
本文提出了一个用于学习 Banach 空间之间的算子的核心框架,该框架基于重现核希尔伯特空间 (RKHS),并提供了先验误差分析和与神经网络方法的全面数字比较。
- SRCNet: 面向海洋溢油分割的语义表征协同网络
该研究提出了一个名为 SRCNet 的有效油污图像分割网络,利用合成孔径雷达(SAR)图像表示和油污分割培训同时进行,该网络由一对协作的深度神经网络构成,在训练过程中,利用 SAR 图像的内在特性,与正解油污分割图的相关特征进行协同表示。结 - 在可解释因果变量和分布式神经表示之间找到对齐
本文介绍了一种名为分布式对齐搜索(DAS)的方法,它使用梯度下降来找出高层和低层模型之间的对齐,并允许单个神经元在非标准基中扮演多个不同的角色,从而发现了其他方法所错过的内在结构,为进行因果抽象分析消除了前期的限制。
- EMNLPCTL++:评估已知函数的未见组合模式的泛化能力,以及神经表征的兼容性
介绍了 CTL++ 数据集,其中针对复合一元符号函数进行了系统性神经网络测试并展示了测试结果。
- 深度策略的目标条件生成器
研究探讨了目标条件强化学习,使用上下文命令生成生成深度神经网络策略的权重矩阵的目标条件神经网络,并使用超网络和策略嵌入来扩展该方法以生成深层神经网络。通过实验证明,单个生成的策略生成器可以产生在训练过程中观察到的任何回报的策略,并且该算法在 - 从感知到程序:正则化、过度参数化和资瓷化
研究了神经符号程序合成技术,通过神经网络将感知输入解析为低维可解释表示,然后通过合成的程序进行处理,探索了多任务学习,摊销推理,过度参数化和可区分策略的技术。
- 基于探针的干预措施用于修改代理行为
该研究通过更新预先训练的神经网络的表示,以实现人类辅助决策问题,并在实验中展示了如何改善多个领域的人 - 代理团队表现。
- ICLR在压缩权重空间中训练和生成神经网络
本文旨在探讨使用离散余弦变换对循环神经网络的权重矩阵进行编码的方法,以提高算法的可扩展性和效率,并在 enwik8 数据集上进行了实验。
- ICMLRieszNet 和 ForestRiesz: 使用神经网络和随机森林实现自动去偏置的机器学习
通过神经网络和随机森林自动学习线性函数的 Riesz 表示,实现自动去偏并提高估计方法的精度,即使是针对高维或非参数回归函数。并且该方法对任意函数都有效,尤其在估计平均治疗效应功能上表现良好。
- AAAI关于本地特征归因基线的研究
研究表明,模型的 baseline 对于特征归因的重要性具有重大影响,因此建议针对表格数据提出合理的 baseline 方法,并介绍了新的基线方法分类方法。