ICMLFeb, 2020

机器学什么不重要，我们无法教的才是关键

PDF
TL;DR本文指出，基于密集均匀样本的训练集是学习复杂任务的限制，因为实践者会高估模型的准确性；通过一项案例研究解决 “共谓查询包含” 问题，我们证明了任何 $ extit {NP}$ 难问题多项式时间样本生成器的采样都是从一个更容易的子问题中进行的。
deep neural networkscomputational complexityhard problemssample generationconjunctive query containment
发现论文，激发创造
  • 量子辅助下学习嵌入式概率图模型

    通过嵌入技术添加冗余数据集，可以提高量子模拟器的模型容量，因此，我们的方法可以避免其每次迭代基于推断有效温度的需求，从而加快了学习速度，减轻了参数控制噪声的影响，使其能够验证使用量子计算实现生成模型的可行性，并为这些量子技术在与机器学习相关的任务上进行基准测试提供了适当的框架。

    Sep, 2016

  • 量子信息科学中的数据中心机器学习

    提出了一系列以数据为中心的启发式方法来改善机器学习系统在量子信息科学问题上的表现。具体而言，我们考虑如何通过系统地构建训练集来显著提高用于量子状态重构的预训练神经网络的准确性，而不改变底层架构。

    Jan, 2022

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 子集选择与知情图神经网络的相互作用

    使用领域知识为 Qm9 数据集的分子离子化能量预测选择高效的训练集和 ML 技术，通过最大化训练集中分子的多样性，提高线性和非线性回归技术（如核方法和图神经网络）的鲁棒性，并基于速率扭曲解释框架的模型不可知解释器来检查图神经网络的预测可靠性。

    Jun, 2023

  • 理解量子机器学习需重新思考常规泛化

    通过系统随机实验，我们展示了目前理解广义学习的传统方法无法解释量子模型的行为，并揭示出量子神经网络具有记忆随机数据的能力。同时，我们展示了量子神经网络可以适应任意标签的量子状态，并且这些结果阐明了量子机器学习中广义学习理解的基本挑战。

    Jun, 2023

  • 论神经网络所学习的信息：与记忆和泛化的联系

    通过信息论分析深度学习及神经网络，研究在训练过程中神经网络获取的信息，提出了限制权值中标签噪声信息的学习算法，并提出了样本信息度量概念，探究了神经网络在非典型、模棱两可或属于代表性较弱群体的情况下的行为，导出了非平凡的泛化表现界限，并通过知识蒸馏研究，证明了数据和标签复杂度在泛化中的重要作用。该论文深入研究了神经网络的泛化机制，有益于更深层次地理解此领域的相关知识。

    Jun, 2023

  • 神经网络的迷人特性

    本论文在研究深度神经网络的高层特性时，发现高层单元与随机线性组合之间没有明显差别，并得出神经网络学习的输入输出映射具有不连续性以及网络可被微小扰动误分类等结论。

    Dec, 2013

  • 特征污染：神经网络学习不相关特征且泛化能力不佳

    深度神经网络在分布变化下的泛化能力与特征污染、归纳偏差等因素相关，并非仅仅是偶然性相关。

    Jun, 2024

  • 从网络化样本中学习

    针对机器学习算法默认独立采样的局限性，在网络化数据样本学习中，使用了有效的样本加权方案，提高了错误边界，从而使丢弃过多共享信息的方法不再是唯一选择。

    May, 2014

  • 提高泛化性能的数据混淆方法

    该研究提出了一个新的训练方法，通过将数据分成非独立同分布的子集，可以有效地改善机器学习中的泛化问题，尤其在视觉问答任务中表现良好。

    Feb, 2020