使用 LLMs 和可解释模型的数据科学
通过采用分层推理方法,大型语言模型(LLMs)能够提供综合的模型级摘要,自动化数据科学中的常见任务,如检测与先前知识不符的异常情况,描述异常情况的潜在原因,并建议消除异常情况的修复方法。以医疗保健领域的多个例子为例,演示了 LLMs 的这些新功能的实用性,特别强调广义加性模型(GAMs)。最后,介绍了开源 LLM-GAM 界面工具包 TalkToEBM。
Aug, 2023
大型语言模型 (Large Language Models, LLMs) 的迅猛发展正在革新数据科学和统计学,该论文旨在探讨 LLMs 对于数据科学教育的潜在机遇、资源和挑战,以及其在数据科学中的作用转变和创造性应用。
Jul, 2023
利用预训练的大型语言模型 (LLM) 对经典的监督机器学习方法进行增强,以应对分类问题,并提出了几种将 LLM 集成到经典机器学习估计器中的方法,从而进一步提高预测性能。通过标准的有监督学习二分类任务和数据分布发生变化的迁移学习任务,对所提出的方法进行了性能评估。通过对四个公开的数据集进行数值实验,结果表明利用 LLM 增强经典机器学习估计器可以显著提升预测性能。
May, 2024
该研究利用神经语言模型提取输入的嵌入,学习嵌入空间中的线性模型来构建最终模型(称为 Emb-GAM),实现了透明的、线性的功能和特征交互,并能很好地泛化到新输入。通过各种自然语言处理数据集的实验,Emb-GAM 在不牺牲可解释性的情况下实现了强大的预测性能。
Sep, 2022
大型语言模型在心理健康方面表现出很大的潜力,但使用它们时需要保持谨慎和考虑,把它们视为辅助人类专业技术而非替代品,因为它们可能产生幻觉般的输出,并且在心理健康咨询中,人类辅导员的情感理解、细致解读和背景意识仍然不可替代。
Nov, 2023
本文研究了利用大型语言模型在可解释金融时间序列预测中的应用,使用股票价格数据、公司元数据和历史新闻等多模态信号,在 NASDAQ-100 股票上进行实验,结果显示与一些基准模型相比,使用 GPT-4 和 Open LLaMA 这类新型模型进行零样本 / 少样本推断并通过基于指令的微调生成可解释预测,优于经典的 ARMA-GARCH 模型和梯度提升树模型。
Jun, 2023
语言模型是一种广义的术语,它包含了各种类型的模型,旨在理解和生成人类的交流。大型语言模型(LLM)因其具有与人类类似的流畅和连贯性处理文本的能力而引起了人们的广泛关注,这使它们在以管道方式构建的各种数据相关任务中具有价值。LLM 在自然语言理解和生成方面的能力,结合其可伸缩性、多样性和领先性能,使其在诸如解释性人工智能(XAI)、自动化机器学习(AutoML)和知识图谱(KG)等各个人工智能领域具有创新应用的能力。此外,我们还相信这些模型能够从大规模数据中提取有价值的见解,并进行数据驱动的决策,这种做法通常被称为大数据分析(BDA)。在本立场论文中,我们对这些技术之间的协同作用提供一些讨论,该协同作用可以实现更强大和智能的人工智能解决方案,推动在整合人、计算机和知识的各种应用和领域中数据管道的改进。
Jun, 2024
开发了第一个用于社交媒体上的可解释性心理健康分析的开源语言模型系列 MentalLLaMA,并通过 IMHI 数据集在正确性和解释质量方面接近最先进的判别方法。
Sep, 2023