Apr, 2023

预测规则的可重复性定义

PDF
TL;DR本文提出了一种基于多智能体框架的方法来定义机器学习中预测规则的可复制性，旨在提供更系统的评估复制性的指导，关注一致结果在典型利用情境中的含义。
发现论文，激发创造
  • 机器学习的可重复性：术语、建议和开放问题

    本文回顾了当前关于 Artificial Intelligence 的可重复性的文献，并强调了未解决的问题。作者提出了一些建议来提高模型重复性，特别是涉及生物医学和物理人工智能领域的问题。

    Feb, 2023

  • 学习中的可复制性和稳定性

    本文研究了机器学习中的可复制性问题，提出了全局稳定性和列表可复制性的概念，并表明在除一些特殊情况外，大多数算法必须具有一定的随机性以实现可复制性。

    Apr, 2023

  • 可复制的强化学习

    本篇文章探索了在机器学习中的可复制性问题，提出了一个可复制的算法架构和针对不同领域的可复制性解决方案，包括针对控制问题和批量学习设置的评估模型。

    May, 2023

  • 提高机器学习研究的可重复性 (来自 NeurIPS 2019 可重复性计划的报告)

    本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。

    Mar, 2020

  • 句法基础的观点挖掘中的复制问题

    本文介绍了一项对于基于句法的方面级情感挖掘的三种著名算法的经验可重复性研究，表明由于预处理和参数设置缺少细节以及缺乏可用的代码实现以阐明细节，再现结果仍然是一项困难的任务，这是该领域的重要研究威胁。因此，鼓励代码驱动的研究在帮助研究人员更好地理解最新技术意义和生成持续进展方面具有关键作用。

    Jan, 2017

  • 自然语言处理的可复现性分析：用多个数据集测试意义

    该论文提出了一种重复性分析框架，用于对 NLP 任务算法的多个比较进行统计学分析，相对于 NLP 文献中目前未经统计证明的传统做法具有显著的理论优势，并通过多个应用案例展示了其实证价值。

    Sep, 2017

  • 将复制和复现与 NLP 中的泛化能力联系起来：针对目标依赖性情感分析的三个复现研究

    本研究旨在解决自然语言处理中重复性和普适性问题，并以目标相关情感分析为例，证明最近该领域的工作缺乏足够的代码共享和方法描述，缺乏对数据的可比性和泛化性。研究人员运用三种互补方法进行了第一次再现研究，并在六个不同的英文数据集上进行了第一次大规模评估，推荐未来考虑多种数据集、发布代码，以便最大程度上减少使可重复性和普遍性困难的障碍。

    Jun, 2018

  • 从模型性能到声明：机器学习可复现性的焦点转变如何帮助弥合责任鸿沟

    通过将模型性能可复制性转变为主张可复制性，可以使机器学习科学家对产生不可复制的主张负责并对其造成的滥用和误解负责，从而缩小责任差距。

    Apr, 2024

  • 自然语言处理可重现性研究的系统综述

    研究了自然语言处理领域内可重复性的困境，探索了不同声音和共通点。

    Mar, 2021

  • 复制市场：人工智能复制的结果、经验、挑战和机遇

    本文回顾了行为和社会科学领域以及 DARPA SCORE 项目中使用的方法，特别关注人类预测复制结果的作用，以及预测如何利用相对劳动力和资源密集的复制所获得的信息。探讨了使用这些方法来监测和改进计算机科学，人工智能和机器学习领域中研究可信度的机会和挑战。

    May, 2020