Aug, 2024

协调方法论范式：将大型语言模型作为人才管理研究中的新手定性研究助手

HTML
PDF
TL;DR本研究解决了定性数据分析中人工分析耗时费力的问题，提出了利用基于检索增强生成的（RAG）大型语言模型（LLMs）来分析访谈记录的新方法。研究发现，该方法有效提取了相关主题，相较于手动生成的主题覆盖更广，验证了LLMs作为新手定性研究助手的可行性，并为研究人员提供了提高方法严谨性和可信度的建议。
发现论文，激发创造
  • 大型语言模型能否模拟半结构化访谈的归纳主题分析？对方法和模型限制的探讨和挑战

    本文利用GPT 3.5-Turbo作为大型语言模型，试图将其应用于主题分析的质性研究中。尽管大型语言模型的应用在人类主题分析中存在争议，但研究结果证明该模型在一定程度上可以协助主题提取。本研究不旨在取代人类分析师，而是探索大型语言模型对质性研究的一定辅助作用。

    May, 2023

  • 使用LLMs探索定性研究

    本研究对语言模型（LLMs）的理解能力进行了比较和对照，发现人类分析师和LLMs的分类和推理能力存在显著差异，但二者合作可能会产生协同效应，从而丰富了定性研究。

    Jun, 2023

  • 基于企业数据的 LLM 应用架构下生成式 AI 服务实现的研究

    本研究提出了一种利用大型语言模型（LLM）应用架构实现生成式人工智能服务的方法，通过利用生成式人工智能技术的最新进展，研究解决了信息匮乏的挑战，并通过利用LLM功能提出了具体的解决方案。研究探讨了缓解数据不足问题的策略，提供了量身定制的解决方案。通过实施检索增强生成（RAG）模型来解决上述挑战是工作的一个重要贡献，该模型被精心设计用于增强信息存储和检索过程，以确保改进的内容生成。本研究阐明了以RAG模型为基础的信息存储和检索方法的关键阶段，对这些步骤进行了全面分析，强调了它们在解决数据匮乏方面的重要性。研究突出了所提出方法的有效性，通过示例展示了其在实践中的适用性。通过实施RAG模型进行信息存储和检索，本研究不仅对生成式人工智能技术有了更深入的理解，而且还促进了利用LLM的企业内部的实际应用。这项工作在推进生成式人工智能领域，提供改进基于数据的内容生成以及促进企业内部利用LLM服务方面具有重要价值。

    Sep, 2023

  • 基于框架的大型语言模型自由回答的定性分析：算法保真度

    使用大规模生成性语言模型（LLMs）可以模拟自由回答面试问题，这种方法可以代替传统的定性研究方法；研究中提出了算法忠实度的概念，通过框架化定性分析发现人工和模型生成的参与者得到的主题相似，但在访谈的结构和语气上存在显著差异；LLMs目前的算法忠实度不足以推广到人类群体，但未来可能会有改变；因此，有必要建立关于如何评估基于LLMs的定性研究的认知规范，特别是关于确保包含多样化生活经历的代表性。

    Sep, 2023

  • 机器辅助混合方法：用人工智能增强人文社科研究

    利用大型语言模型 (LLMs) 的增强功能，扩展人文社会科学领域的数据分析，用于量化、自动化以前需要人工进行的定性分析任务。本文提出了一种系统的混合方法框架，结合了定性分析专业知识、机器可扩展性和严格的量化分析，同时注重透明度和可复制性。通过16个机器辅助案例研究作为概念验证，展示了该框架的应用，涉及的任务包括语言和话语分析、词汇语义变化检测、访谈分析、历史事件因果推断和文本挖掘、政治立场检测、文本和思想重用、文学和电影的流派构成、社交网络推断、自动词典编纂、丢失的元数据补充以及多模态视觉文化分析。与现有LLM应用文献的英语重点不同，这里的例子涉及较小语言和易于数字化失真的历史文本场景。除了需要专业知识的最困难的任务外，生成LLMs可以作为可行的研究工具。LLM (和人工) 标注可能包含错误和变化，但协议率可以在后续统计建模中考虑；文章还讨论了一个引导式方法。案例研究的复制实验证明，以前需要团队努力和复杂计算管道才能完成的任务，现在可以由辅助LLM的学者在更短的时间内完成。重要的是，这种方法旨在增强研究者的知识和技能，而不是取代它们。鉴于这些机会，定性专业知识和提出有深度问题的能力无疑变得更加关键。

    Sep, 2023

  • 基于LLM的定性分析拓展人机交互研究视野

    使用大型语言模型（LLMs）进行定性数据分析的新方法及其在人机交互（HCI）研究中的潜在应用的性能评估，表明LLMs不仅与传统分析方法相当有效，而且还提供独特的见解。

    Jan, 2024

  • 揭示LLM生成数据的本质

    本研究探讨了大型语言模型（LLMs）在生成人工数据中的不断扩大的作用。尽管人工数据能够与人类性能相匹配，但本文揭示了显著的潜在差异，尤其是在复杂任务中，LLMs常常错过对内在人类生成内容的微妙理解。该研究批判性地考察了多样化的LLM生成数据，并强调了在数据创建和使用LLMs时遵循道德实践的必要性。它凸显了解决LLM生成内容中产生的偏差和人为因素对于未来研究和开发的重要性。所有数据和代码都可在我们的项目页面上获得。

    Jan, 2024

  • 由学徒到研究助理：大型语言模型推动研究

    通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管LLMs具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用LLMs进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将LLMs有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于LLMs在研究中负责任应用的持续对话。

    Apr, 2024

  • 评估先进大型语言模型技术在机器人课程中的人工智能讲师的影响

    本研究评估了大型语言模型（LLMs）在大学课程中作为人工智能讲师的表现，尤其是通过使用提示工程、检索增强生成（RAG）和微调等先进技术。研究发现，RAG结合提示工程显著提高了模型的回复质量，并产生了更好的事实性答案，为教育领域的技术集成提供了潜在的解决方案。

    Aug, 2024

  • “故事的模拟”：考察大型语言模型作为定性研究参与者

    本研究探讨了大型语言模型（LLMs）在定性研究中替代人类参与的潜在问题。通过与19名定性研究者的访谈，发现虽然LLMs生成的数据引发了相似的叙述，但它们在参与者同意、代理性及深度上下文等方面存在根本性局限性。因此，使用LLMs作为参与者的代理引发了伦理和认识论的担忧。

    Sep, 2024