从结构化数据生成商业洞察的混合 LLM / 基于规则的方法
大型语言模型(LLMs)在理解和生成任务方面取得了显著的表现,但其在偏见、上下文理解和对提示的敏感性方面存在限制,因此对其在实际应用中的准备性产生了担忧。本文通过对四个可访问的 LLMs 使用真实世界数据进行的实验,深入研究了 LLMs 在业务流程中的实用性和准备性。研究结果对希望利用生成式人工智能的组织具有重大影响,并为未来的研究方向提供了宝贵的见解。据我们所知,这是第一项将 LLMs 应用于核心业务运营和挑战的定量研究。
Jun, 2024
提倡使用 LLMs 来增强基于规则的法律系统的可访问性、使用性和可解释性,为法律技术的民主和利益相关者导向视角做出贡献。发展了一种方法来探索 LLMs 在将规则系统生成的解释从高级编程语言翻译成自然语言上的潜在应用,使所有用户能够快速、清晰和便捷地与这些技术进行交互。研究还进一步建立在这些解释之上,通过使用一系列提示链来赋予非专业人士在自己身上执行复杂的法律任务的能力,用于对相同事实案例应用基于规则的不同推理的自主法律比较。
Nov, 2023
利用大型语言模型 (LLMs) 的增强功能,扩展人文社会科学领域的数据分析,用于量化、自动化以前需要人工进行的定性分析任务。本文提出了一种系统的混合方法框架,结合了定性分析专业知识、机器可扩展性和严格的量化分析,同时注重透明度和可复制性。通过 16 个机器辅助案例研究作为概念验证,展示了该框架的应用,涉及的任务包括语言和话语分析、词汇语义变化检测、访谈分析、历史事件因果推断和文本挖掘、政治立场检测、文本和思想重用、文学和电影的流派构成、社交网络推断、自动词典编纂、丢失的元数据补充以及多模态视觉文化分析。与现有 LLM 应用文献的英语重点不同,这里的例子涉及较小语言和易于数字化失真的历史文本场景。除了需要专业知识的最困难的任务外,生成 LLMs 可以作为可行的研究工具。LLM (和人工) 标注可能包含错误和变化,但协议率可以在后续统计建模中考虑;文章还讨论了一个引导式方法。案例研究的复制实验证明,以前需要团队努力和复杂计算管道才能完成的任务,现在可以由辅助 LLM 的学者在更短的时间内完成。重要的是,这种方法旨在增强研究者的知识和技能,而不是取代它们。鉴于这些机会,定性专业知识和提出有深度问题的能力无疑变得更加关键。
Sep, 2023
人工智能和大型语言模型的进步正在给法律领域的自然语言处理任务带来深刻的转变。大型语言模型在法律部门展示出越来越多独特的优势和各种挑战。本调查研究了大型语言模型与法律系统之间的协同作用,例如在法律文本理解、案例检索和分析等任务中的应用。此外,该调查还突出了大型语言模型在法律领域面临的关键挑战,包括偏见、可解释性和道德考虑,以及研究人员如何解决这些问题。调查展示了针对不同法律体系量身定制的最新进展,以及用于各种语言的大型语言模型微调的法律数据集。此外,它提出了未来研究和发展的方向。
Apr, 2024
通过文献综述和第一手实验,本文研究了大型语言模型(LLMs)的潜力。尽管 LLMs 具有成本效益和高效性等优点,但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解,强调了成功和限制。此外,本文还讨论了缓解挑战的策略,如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作,并积极促进其负责任的应用,以此回应关于 LLMs 在研究中负责任应用的持续对话。
Apr, 2024
本研究对语言模型(LLMs)的理解能力进行了比较和对照,发现人类分析师和 LLMs 的分类和推理能力存在显著差异,但二者合作可能会产生协同效应,从而丰富了定性研究。
Jun, 2023
通过比较四种不同的方法,包括内容确定性、由 LLM 指导、未指导的 LLM 和混合方法,我们利用大型语言模型在工作推荐中捕捉了未结构化数据转换过程中丢失的信息,并且评估了它们在时间需求方面的性能。
Sep, 2023
人工智能对传统司法行业产生了重大影响。最近,随着 AI 生成内容的发展,人工智能和法律在图像识别、自动文本生成和交互式聊天等领域得到应用。然而,法律领域的大型语言模型的应用仍处于初级阶段。本文对法律领域的大型语言模型进行了全面调查,揭示了它们在司法系统中的应用。同时,我们还讨论了法律领域大型语言模型的实际实施,如为用户提供法律咨询和协助法官审理案件。此外,我们探讨了法律领域大型语言模型的局限性,包括数据、算法和司法实践。最后,我们总结了实际建议并提出了未来发展方向以解决这些挑战。
Nov, 2023
对大型语言模型(LLMs)在解谜方面的能力进行探索,揭示了它们在人工智能中的潜力和挑战,这是对其在复杂推理任务中适用性的重要一步。通过将谜题分为基于规则和非规则两类的独特分类法,该调查通过各种方法论(包括提示技术、神经符号方法和微调)对 LLMs 进行了批判性评估。通过对相关数据集和基准的批判性回顾,我们评估了 LLMs 在复杂谜题情景中的表现,发现其在需要高级逻辑推理的领域与人类推理能力存在显著差距。该调查强调了需要新的策略和更丰富数据集来提升 LLMs 在解谜方面的熟练度,并为 AI 的逻辑推理和创造性问题解决的进展做出贡献。
Feb, 2024