本文介绍了一个混合预测市场原型，并展示了它为有意义的人工智能协作提供的途径。我们以前提出的人工预测市场作为新的机器学习算法进行建设。通过将人类参与者与机器人交易者嵌入到这些市场中，我们可以汇集两者的见解。本文详细介绍了用于预测复制研究结果的混合市场模型的试点研究，强调了挑战和机会，并分享了与混合市场参与者进行的半结构化访谈的见解，并概述了未来的工作愿景。

Mar, 2023

社交媒体中，通过自然语言处理和机器学习相结合的方式来评估金融创作者的可信度，并提供准确的市场数据验证和连续的可信度评分，同时利用社交媒体指标和相关性分析来提供决策的自然语言解释。

Jun, 2024

本文回顾了行为和社会科学领域以及 DARPA SCORE 项目中使用的方法，特别关注人类预测复制结果的作用，以及预测如何利用相对劳动力和资源密集的复制所获得的信息。探讨了使用这些方法来监测和改进计算机科学，人工智能和机器学习领域中研究可信度的机会和挑战。

May, 2020

提出一个新的框架来进行预测系统的评估，并检验了现有的统计指标的有效性，呈现出可靠的实验结论。

Jan, 2021

利用人工智能和多个引文计量和元数据输入进行的质量估计，与简单的定量指标和耗费时间的同行评审相比，得出更好的结果；医学和物理学科的精度最高，社会科学、数学、工程、艺术和人文学科的表现较差。

Dec, 2022

提出一种使用预测市场机制，通过激励专家之间直接信息交流的方式来解决科学或医学领域问题的方法。

Apr, 2022

本文阐述了反事实解释信心分数是如何帮助用户更好地理解和更好地信任 AI 模型的预测，在人机交互系统中展示信心分数可以帮助建立人类和 AI 系统之间的信任，提出了两种用于理解模型信心的方法：(1) 基于反事实例；和 (2) 基于反事实空间的可视化。

Jun, 2022

该文献综述通过机器学习预测引用次数或质量评分等方法，从文章文本和元数据中识别高影响力或高质量研究的指标，并回顾了有关排名和公共数据集的证据，用于预测学术文章的影响力，并讨论了技术辅助评估的偏见和透明度。

Dec, 2022

本文批判性地研究了题为《Show Your Work: Improved Reporting of Experimental Results》的一篇论文，其中提到的评估指标存在偏差和使用错误假设，我们提出了一种无偏的替代方法，并通过统计模拟获得了实证证据。

Apr, 2020

通过研究机器学习中的数据泄露和出版偏见等因素，本研究提出了一种新颖的随机模型来估计真实准确性，并纠正了过度乐观的诊断结果，从而提供了更真实的机器学习性能评估。

May, 2024