语言模型的内部工作机制是通过表示相异度测量所评估的,这是一组有潜力的工具,可以增加对语言模型内部工作机制的了解。
Oct, 2023
我们的研究比较了不同的领先嵌入算法及其碳足迹的准确性,从而为每个嵌入算法提供了一个全面的审视。
Dec, 2023
本文概论了基于大型语言模型的推荐系统,提出了两种主要类型(分别为判别型 LLM 推荐 DLLM4Rec 和生成型 LLM 推荐 GLLM4Rec),分别从方法、技术和性能等方面对现有的 LLM 推荐系统进行了系统的分类和评估,并指出了主要挑战和有价值的发现。
May, 2023
研究了如何同时呈现多个大型语言模型的响应,设计了包括计算文本文档之间相似性和差异性的预存和新方法以及如何渲染它们的输出的五个特征,通过对用户研究和八个案例研究的评估发现这些特征支持多样的意义理解任务,并使之前被认为过于困难的任务现在变得可行,最后提出了设计指南以指导未来对新型大型语言模型界面的探索。
Jan, 2024
该论文调查了大型语言模型的八个潜在问题,包括其预测能力的增强,不可预测的行为的出现,对外部世界的学习和使用表示,行为引导技术的不可靠性,内部工作方式的解释困难性,性能上界不是人类任务表现,不一定表达其创建者或网络文本编码的价值观,与 LLMs 的简短交往经常是误导性的。
Apr, 2023
通过定量评估 LLMs 引导出生成反应更类似于谁的观点的框架,将全球调查问答数据集 GlobalOpinionQA 翻译到不同语言后,模型生成的响应不一定成为说这些语言的人观点最相似的。
Jun, 2023
本文提出了一种新的多语言相似性度量方法 mPLM-Sim,通过从 mPLMs 中使用多语言并列语料库感知不同语言之间的相似性,结果表明该方法较传统的语言相似性度量方法具有更高的相关性,并在零 - shot 跨语言转移任务中展现了更好的效果。
大型语言模型在自然语言理解、语言生成和复杂推理等重要任务中展示出了卓越的能力,并有潜力对我们的社会产生重大影响。然而,这些能力所需的资源相当可观,强调了开发有效的技术来解决其效率挑战的迫切需求。本调研以系统和全面的方式概述了高效大型语言模型的研究成果,从模型中心、数据中心和框架中心的角度,将文献进行了分类整理。我们还创建了一个 GitHub 存储库,在这个存储库中收集了本调研中涉及的论文,并将积极维护并整合新的研究成果。希望本调研能为研究人员和从业者提供有价值的资源,帮助他们系统地了解高效大型语言模型的研究进展,并激励他们为这个重要而激动人心的领域做出贡献。
评估低资源语言对大型语言模型(LLMs)性能的 Language Ranker 研究发现:不同语言上的 LLMs 性能排名大致相同,不同规模的 LLMs 具有相同的性能排序,LlaMa2 在不同语言中的性能与预训练语料库的比例具有强相关性。
Apr, 2024
我们研究了大型语言模型(LLMs)产生有说服力的文本的能力,通过构建一个新的数据集 Persuasive-Pairs,用于训练回归模型来预测文本对之间的说服力得分,并讨论了系统提示中不同 'personas' 对文本的影响。
Jun, 2024