人工智能的基准测试至关重要，但过度适应、饱和以及数据集集中化等问题已引起人们的关注。我们提出了一种方法来创建全球基准测试创作和饱和的简化地图，其中包括覆盖计算机视觉和自然语言处理的 3765 个基准测试的数据。我们发现许多基准测试很快趋于饱和，而其他一些则无法得到广泛利用。未来的基准测试应强调多功能性、广度和实用性。

Mar, 2022

本篇论文探讨了 AI 领域中对少量标准基准的高度评价，指出这种基准的限制并揭示了它们的建构效度问题，从而推动通向灵活且具有普适性 AI 系统的长期目标的进展。

Nov, 2021

在这篇论文中，作者从道德哲学和元伦理学的研究中引用论述，提出了在当前没有一套能度量 AI 系统 “伦理性” 的指标和测量方式的情况下，将 AI 系统的考虑转变为 “价值观” 而非 “伦理学”，强调了价值观的相对性，这种思路会为开展 AI 系统的安全研究和有益研究提供新的方法。

Apr, 2022

数据科学研究正在经历一场由技术、互联网和不断增长的计算能力驱动的革命。我们在此提出，需要创造性地利用科学研究和算法开发社区作为强大创新的轴心，通过关键评估、社区实验和集众智等方式，让这些社区参与科学发现探索，从而带来发展新的数据驱动、可复现且经过充分基准测试的算法解决方案，来解决当前感兴趣的基础性和应用性问题。通过协调社区参与高度复杂和大规模数据的分析，可以找到最佳应对这些挑战的鲁棒方法学。当社区参与采用竞赛形式，也被称为挑战赛时，分析方法的验证在本质上得到解决，建立了性能基准。最后，挑战赛促进跨学科开放创新，创建能够直接或间接协作解决重要科学差距的社区。通过共同努力，参与者可以解决诸如健康研究、气候变化和社会公正等各种重要问题。最重要的是，挑战赛可以催化和加速将复杂数据合成知识或可执行信息的过程，应被视为一个产生持久社会和研究贡献的强大工具。

Dec, 2023

探索和研究 AI 驱动的自动闭环科学发现方法，包括自我驱动的假设生成和假设空间的无限自主探索。将自动化纳入科学实践将缓解当前问题，包括发现的复制、数据的系统化生产以及最终的科学过程民主化，具有开创性的视野将释放 AI 在我们的世界基本结构搜索和发现方面的潜力，好过自动化当前工作流程，并打开技术创新的大门，解决人类面临的最大挑战之一。

Jul, 2023

本研究通过对 57 个顶级计算机科学会议的 171394 篇论文的研究发现，自 2012 年深度学习的出现以来，大型技术公司和精英大学已经增加了在主要人工智能会议上的参与度。然后，本文通过实证证明大型公司和非精英大学之间的分歧由于计算能力或计算机设备的缺乏，这使得机器学习技术的发展在民主化方面面临阻碍和公平性问题，从而强调了民主知识生产缺乏对专业设备的访问。

Oct, 2020

AI 和深度学习的快速发展在大型语言模型中具有突破性的出现，这里提醒过度乐观的人关注毒性、偏见、记忆、奉承、逻辑不一致以及幻觉的存在，并指出人类智能只是一种规模放大的灵长类脑的案例。

Feb, 2024

本文讨论深度神经网络的透明度带来的批判性和认识论挑战，并探讨了 AI 在科学中的作用，阐明了深度学习在发现过程中的重要作用，并结合两个科学案例阐释了 AI 在引领科学界取得重大和可证明突破方面的作用。

Jun, 2022

该论文探讨了神经网络的复兴及其对人工智能领域的影响，介绍了监督学习和深度学习等技术的应用和优劣势，同时也指出了一些伦理和技术上的问题和挑战。

Oct, 2022

本文围绕语言任务与数据集的挑战性、基准模型及其改进、研究进展等方面，探讨了该领域中的研究模式与进展。

Jul, 2020