复制市场：人工智能复制的结果、经验、挑战和机遇
面对研究的可重复性危机，机器学习和人工智能研究也面临同样的问题。虽然研究社区已经提出了不同的解决方案如使用机器学习平台，但机器学习驱动的研究的可重复性水平并没有显著提高。本文通过综述相关文献，讨论机器学习驱动研究中的可重复性问题和障碍，并探索工具、实践和干预等潜在驱动因素，提供对于支持机器学习可重复性的不同解决方案可行性的决策支持。
Jul, 2023
本文介绍了一个混合预测市场原型，并展示了它为有意义的人工智能协作提供的途径。我们以前提出的人工预测市场作为新的机器学习算法进行建设。通过将人类参与者与机器人交易者嵌入到这些市场中，我们可以汇集两者的见解。本文详细介绍了用于预测复制研究结果的混合市场模型的试点研究，强调了挑战和机会，并分享了与混合市场参与者进行的半结构化访谈的见解，并概述了未来的工作愿景。
Mar, 2023
最近的人工智能领域取得的进展，特别是随着大型语言模型（LLMs）的出现，引发了对人工通用智能可能性的重新思考。人工智能越来越接近人类能力，也引起了社会科学研究的关注，导致各种探索将这两个领域相结合。本文通过对先前在人工智能和社会科学结合方面的系统分类，将其分为两个方向，虽然共享相同的技术方法，但在研究目标上有所不同。第一个方向侧重于社会科学用于人工智能，其中人工智能被用作加强社会科学研究各个阶段的强大工具。而第二个方向是关于人工智能的社会科学，它将人工智能代理作为具有类似人类认知和语言能力的社会实体进行研究。通过全面回顾，特别是近期大型语言模型取得的实质性进展，本文引入了一个新的视角来重新评估人工智能和社会科学之间的关系，并提供了一个有序的框架，使研究人员能够理解社会科学用于人工智能和人工智能的社会科学之间的区别和联系，同时总结了促进这两个方向研究的最新实验模拟平台。我们相信随着人工智能技术的不断发展和智能代理在我们日常生活中的日益应用，人工智能和社会科学的结合的重要性将变得更加突出。
Jan, 2024
本文回顾了当前关于 Artificial Intelligence 的可重复性的文献，并强调了未解决的问题。作者提出了一些建议来提高模型重复性，特别是涉及生物医学和物理人工智能领域的问题。
Feb, 2023
本研究开发了一种合成预测市场来评估社会与行为科学文献中已发表声明的可信度，并使用一系列已知的复制项目来展示该系统，并建议此项工作为使用人工智能进行同行评审奠定了基础。
Dec, 2021
GeoAI 研究偏重于 GIScience 文献，本文从计算和空间角度深入分析了 GeoAI 研究的重复性和可复制性，包括验证、学习和适应方法以解决相似或新问题，以及研究结果的普适性。通过深度学习的图像分析任务实例，强调了训练数据选择和使用、GeoAI 模型设计、训练和部署过程中的不确定性，以及地理空间数据和过程的空间异质性对结果的影响。结果强调了知识共享的重要性，并提出了一个综合考虑空间自相关和空间异质性的 “可复制性图” 用于量化 GeoAI 研究的空间可复制性。
Apr, 2024
本文介绍了阿姆斯特丹大学关于应用可重现性来教授公正、问责、机密和透明的人工智能课程，通过学生论文组和竞赛的形式，将理论和实践知识有机结合，并提出了相关授课指导方针。
Nov, 2021
本文介绍了一项对于基于句法的方面级情感挖掘的三种著名算法的经验可重复性研究，表明由于预处理和参数设置缺少细节以及缺乏可用的代码实现以阐明细节，再现结果仍然是一项困难的任务，这是该领域的重要研究威胁。因此，鼓励代码驱动的研究在帮助研究人员更好地理解最新技术意义和生成持续进展方面具有关键作用。
Jan, 2017
本研究旨在解决自然语言处理中重复性和普适性问题，并以目标相关情感分析为例，证明最近该领域的工作缺乏足够的代码共享和方法描述，缺乏对数据的可比性和泛化性。研究人员运用三种互补方法进行了第一次再现研究，并在六个不同的英文数据集上进行了第一次大规模评估，推荐未来考虑多种数据集、发布代码，以便最大程度上减少使可重复性和普遍性困难的障碍。
Jun, 2018