动力加强!生成模型对人类计算工作流程能做什么?
本文研究 LLMs 对众包工人的影响,通过对在 Amazon Mechanical Turk 上运行的一个摘要任务,发现 33-46% 的众包工人使用了 LLMs,因此需要找到新的方法确保数据来源于人类本身。
Jun, 2023
LLMs 在模仿人的行为方面显示出了潜力,尤其是在之前被认为只有人类能够完成的众包任务。然而,当前的研究主要集中在简单的原子任务上。本研究探讨了 LLMs 是否能够模仿更复杂的众包流程。我们发现现代 LLMs 可以模拟某些众包工人的能力,但是成功的程度存在变异,并受到请求者对 LLMs 能力的理解、子任务所需的具体技能以及执行这些子任务的最佳互动模式的影响。我们讨论了人类和 LLMs 对指令的不同敏感性,并强调为 LLMs 提供面向人类的保障的重要性,同时探讨了培养人类和 LLMs 具备互补技能的潜力。关键是,我们展示了复制众包流程为研究 LLMs 在不同任务上的相对优势(通过对它们在子任务上的表现进行交叉比较)以及 LLMs 在复杂任务中的潜力,在这些任务中,它们可以完成部分任务而将其他任务留给人类。
Jul, 2023
这篇文章着重探讨了大型语言模型对人类价值、劳动力市场的影响以及需不需要对它们进行监管等问题,同时,它们也能更好地人性化技术,并且可以克服当前技术所面临的瓶颈问题。因此,我们应该更广泛地了解和推广 LLMs 以及简化 LLMs 使用的工具和方法。
May, 2023
论文研究了大型语言模型(LLMs)在学术软件工程项目中的实用性,包括 AI 生成的代码、代码生成的提示以及将代码集成到代码库中的人工干预水平。研究结果表明,LLMs 在软件开发的早期阶段,特别是在生成基础代码结构和语法、错误调试方面,可以发挥重要作用。这些发现为我们提供了一个有效利用 LLMs 提高软件工程学生的生产力的框架,并强调了将教育重点转向为学生成功进行人工智能协作的必要性。
Jan, 2024
通过文献综述和第一手实验,本文研究了大型语言模型(LLMs)的潜力。尽管 LLMs 具有成本效益和高效性等优点,但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解,强调了成功和限制。此外,本文还讨论了缓解挑战的策略,如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作,并积极促进其负责任的应用,以此回应关于 LLMs 在研究中负责任应用的持续对话。
Apr, 2024
本研究对语言模型(LLMs)的理解能力进行了比较和对照,发现人类分析师和 LLMs 的分类和推理能力存在显著差异,但二者合作可能会产生协同效应,从而丰富了定性研究。
Jun, 2023
通过回顾现有工作,我们按类别介绍了应用语言模型于网络领域的突出成果,并详细解释它们在工作流程的不同阶段的操作方式。此外,我们深入探讨了遇到的挑战,讨论了潜在解决方案,并勾勒了未来的研究前景。我们希望这份调查能为研究人员和实践者提供洞见,推动该跨学科研究领域的发展。
Apr, 2024
本文探索大型语言模型在心理学应用中的前沿。大型语言模型如 ChatGPT 正在改变心理学研究的方式,并在认知与行为心理学、临床与咨询心理学、教育与发展心理学以及社会与文化心理学等多个领域发挥着影响,强调了它们模拟人类认知和行为的潜力。该论文还讨论了这些模型在心理学方面的能力,提供了创新工具用于文献综述、假设生成、实验设计、实验对象选择、数据分析、学术写作和同行评审。然而,尽管大型语言模型对推进心理学研究方法至关重要,但该论文也注意到了其技术和伦理挑战,如数据隐私、在心理学研究中使用大型语言模型的伦理影响以及对这些模型局限性的更深入了解的需要。研究人员应该负责任地在心理学研究中使用大型语言模型,遵守伦理标准,并考虑在敏感领域部署这些技术的潜在后果。总之,这篇文章全面概述了大型语言模型在心理学中的现状,探讨了潜在的好处和挑战。它号召研究人员在充分利用这些模型的优势的同时,负责任地解决相关风险。
Jan, 2024
本论文研究利用自然语言处理和机器学习技术进行概念生成,比较生成方案和众包解决方案的异同,结论表明,利用 LLM 技术生成的方案平均可行性和实用性更高,而众包解决方案更具新颖性。
May, 2023