Jun, 2024

实验研究的普遍适用性

PDF
TL;DR本文提出了实验研究的数学形式化方法，并发展了一个可量化的泛化概念，旨在探索现有研究的泛化性，并估计实现新研究泛化性所需的实验数量，为此我们应用两个最近发表的基准测试来区分可泛化和不可泛化的结果，并发布了一个 Python 模块，可以用于其他实验研究的分析。
experimental studiesmachine learninggeneralizabilityquantifiable notionpython module
发现论文，激发创造
  • 决定实验结果可迁移性的通用算法

    本文总结了 Pearl 和 Bareinboim 的研究成果，提供了一种有效的程序，决定何时以及如何进行信息迁移，并建立了一种必要且充分的条件，用于决定目标人群中的因果效应是否可估计。同时提供了一种计算传输公式的完整算法，以综合偏差自由估计所需的因果关系。最后，本文还探讨了传递性与其他形式的泛化之间的差异。

    Dec, 2013

  • 通过集合论理解泛化

    通过集合理论推导和实验，我们对泛化进行定义并提出了一种有效的泛化方法，实验证实了定义的准确性和方法的有效性。

    Nov, 2023

  • 机器学习中的越界泛化

    研究探讨了机器学习中的问题，特别是当模型在不同于训练数据的数据上进行测试时，模型很容易出现失败的现象，主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。

    Mar, 2021

  • 自然语言处理模型的泛化：概念与因果关系

    探索机器学习模型泛化能力的基础，研究影响因素，尤其关注内部有效性，外部有效性和虚假相关性，并指导分析泛化失败。

    Nov, 2023

  • 可验证的、可复制的和可重现的经验型机器学习研究的设计原则

    通过提出一种供应用于实证研究的模型和指南，旨在减少机器学习领域中研究实践的差异性，建立统一的质量标准，提高实证研究的一致性、可靠性和影响力。

    May, 2024

  • 寻求鲁棒的泛化测量方法

    本文讨论了深度学习中的一项科学挑战，即解释归纳泛化问题，通过关注经验性评估方法，提出了将泛化度量评估纳入分布强健性框架的看法。

    Oct, 2020

  • 将复制和复现与 NLP 中的泛化能力联系起来：针对目标依赖性情感分析的三个复现研究

    本研究旨在解决自然语言处理中重复性和普适性问题，并以目标相关情感分析为例，证明最近该领域的工作缺乏足够的代码共享和方法描述，缺乏对数据的可比性和泛化性。研究人员运用三种互补方法进行了第一次再现研究，并在六个不同的英文数据集上进行了第一次大规模评估，推荐未来考虑多种数据集、发布代码，以便最大程度上减少使可重复性和普遍性困难的障碍。

    Jun, 2018

  • 机器学习实证研究的反思：解决实验的认识论和方法论挑战

    我们警告人们对机器学习领域的经验研究常常存在着一种不完整的理解，这导致实验结果不可复制、发现不可靠，进而威胁到该领域的进展。为了克服这种令人担忧的情况，我们呼吁更多地意识到获得知识的多样性方式以及一些认识论上的限制。特别是，我们认为当前大部分经验机器学习研究实质上是确认性研究，而应该视为探索性研究。

    May, 2024

  • 在线机器学习实验中的常见误解

    本文讨论了机器学习模型在线实验所面临的问题，指出常用的 A/B-tests 并不能保证无偏估计。因此，文章提出了对从事此领域的从业人员和研究人员的影响及解决方案。

    Apr, 2023

  • 寻找可探查的泛化度量

    本文旨在探索深度神经网络泛化度量的可检测性，评估和比较探测单独层的泛化度量的有效性和鲁棒性。同时，我们介绍了一套新的训练模型和性能度量数据集 GenProb，用于测试泛化度量，模型调优算法和优化算法。

    Oct, 2021