Feb, 2024

AI 工作流程的效用和定制的纵向研究

PDF
TL;DR通过一项为期三周的纵向研究，我们发现熟悉化阶段持续了 4.3 个会话，用户探索了工作流的功能以及他们发现的有用之处。在熟悉化后，系统的感知效用得分高于之前，表明人们对于人工智能的感知效用并非仅仅是新奇的效应。系统的增益主要来自于最终用户能够自定义提示，从而适应其自身需求。这指向了未来一种能够通过生成式人工智能系统进行设计适应的前景。
generative aiworkflowsfamiliarizationcustomizationscience communication
发现论文，激发创造
  • 生成人工智能的创新前沿：管理新颖性和实用性的平衡

    本文通过人类创造力文献的启示，探索生成人工智能系统中新奇和实用之间的最佳平衡，提出了包括领域特定分析、数据和迁移学习、用户喜好和定制、自定义评估指标和协作机制在内的框架，旨在在特定领域内生成既新颖又有用的内容。

    Jun, 2023

  • 人工智能与人类互动及社会陷阱

    通过引入贝叶斯框架，研究了与生成人工智能合作时可能出现的一种情况：用户可能会获得生产力的提高，但人工智能生成的内容可能无法完全符合他们的偏好。我们揭示了个体决策与人工智能训练之间的相互作用可能导致社会性挑战，输出结果可能变得更加同质化，特别是当人工智能基于人工智能生成的内容进行训练时。解决同质化和偏见问题的方法是改进人工智能与人类的交互，实现个性化输出而不损失生产力。

    Sep, 2023

  • 鉴定和减轻生成式人工智能的安全风险

    生成式人工智能技术（GenAI）可能被用于积极和消极目的，这篇论文讨论了 GenAI 所带来的双重用途困境，并提出了针对此问题的短期和长期目标，旨在引发学术界对此重要主题的深入讨论。

    Aug, 2023

  • 人工智能与生成人工智能在研究发现和摘要中的应用

    AI 和生成 AI 工具在研究发现和总结方面具有重要作用，通过生成语言模型可以更快地找到相关文献并提取研究论文的关键要点，对统计学家和数据科学家具有重要意义。

    Jan, 2024

  • 教育中的生成式人工智能：教育工作者意识、情感和影响因素研究

    通过分析大学教师对人工智能语言模型的经验和态度，本研究填补了文献中对人工智能在教育中的应用以及其对教学和学习的潜在影响的研究空白。该研究调查了高等教育中语言模型和生成式人工智能工具的意识水平、整体态度以及影响这些态度的因素。研究结果显示，教育工作者对这些工具的认识程度逐渐增加，总体上持积极态度。教学风格与对生成式人工智能的态度之间没有相关性。最后，相较于其他领域的教育工作者，计算机科学教育工作者对生成式人工智能工具在技术上的理解更有信心，对其持更加积极的态度，但在检测人工智能生成作品的能力上并不更有信心。

    Mar, 2024

  • 生成人工智能对科学学习成果的负面影响的实证证据

    调查了生成型人工智能在学术阅读中的学习效果，结果发现完全依赖人工智能的写作任务会导致准确性降低 25.1％，然而，人工智能辅助阅读会导致准确性下降 12％，而使用人工智能进行摘要编写则可以显著提高质量和输出。

    Sep, 2023

  • 生成式人工智能提升团队绩效并减少对传统团队的需求

    近期生成人工智能在协作工作流程中的应用取得了重大进展，对团队绩效的影响仍未被充分探索。本研究通过一项随机对照实验，在 122 支团队的 435 名参与者中研究了生成人工智能在增强或取代传统团队动态中的作用。研究结果表明，在各种绩效指标上，增加生成人工智能的团队显著优于仅依赖人类协作的团队。有趣的是，采用多个人工智能的团队并未表现出进一步的增益，暗示了集成人工智能的效果递减。我们的分析表明，由少数团队成员进行集中使用的人工智能比分布式参与更为有效。此外，个体 - 人工智能配对的表现与传统团队相当，说明在某些情境下，传统团队结构的需求减少了。然而，尽管有这种能力，个体 - 人工智能配对的表现仍不及人工智能辅助团队的水平。这些发现强调，生成人工智能可以取代一些传统团队功能，但更全面地将人工智能整合到团队结构中可以提供更优越的效益，提升整体效能而不仅仅依赖个人努力。

    May, 2024

  • 建议列表与连续生成：基于生成模型的移动设备写作交互设计对文本长度、措辞和感知作者身份的影响

    本文探讨了人工智能在移动设备上写作的两种用户界面设计，通过一个被监督的在线研究得出，无论是使用连续生成文本的方式还是建议写作的方式人工智能在撰写过程中都会影响文本创作，但两种设计存在差异，需要在用户体验和用户输出方面做出不同的选择。

    Aug, 2022

  • 差距加大：对初学者程序员的生成式人工智能的益处与危害

    新手编程人员在解决编程问题方面常常面临元认知意识和策略的缺乏。前期研究已经表明，新手在编程时可能会遇到多个元认知困难。新手通常不了解这些困难如何阻碍他们的进展。与此同时，许多新手正在使用生成型人工智能（GenAI）进行编程，它可以提供大多数入门级编程问题的完整解决方案、代码建议、停滞时的下一步提示以及解释难懂的错误消息。然而，GenAI 对新手元认知的影响才刚刚开始被探索。通过 21 个由参与者观察、访谈和眼动跟踪组成的实验室会话，我们复制了一项以前的研究，研究了新手编程问题解决行为，并通过加入 GenAI 工具进行了扩展。虽然 21 名学生中有 20 名完成了分配的编程问题，但我们的研究结果显示 GenAI 工具在加快学生进度和使学生困难的使用方面存在一个令人遗憾的差距。加快进度的学生能够使用 GenAI 创建他们已经打算创建的代码，并能够忽略不合理或错误的内联代码建议。但是对于遇到困难的学生，我们的研究结果表明，以前已知的元认知困难仍然存在，并且 GenAI 不幸地可能会加重这些困难，甚至引入新的元认知困难。此外，遇到困难的学生通常对他们的问题解决能力存在认知失调，并且他们认为自己的表现比实际情况要好，并最终产生了一种自负的错觉。基于我们对两组学生的观察，我们提出了支持新手 GenAI 体验的方式，并对未来的工作提出了建议。

    May, 2024

  • YouTuber 在内容创作中使用生成式人工智能的初步探索

    通过对 68 个 YouTube 视频的定性分析，我们的研究重点关注生成型人工智能在用户生成内容环境中所应用的内容领域、使用的各种工具、执行的活动以及生成的最终产品的性质。

    Mar, 2024