定义边界：大型语言模型任务可行性光谱
当前大型语言模型（LLMs）在生成符合语法、流畅的文本方面无与伦比。这篇论文针对LLMs的能力进行了辩论，并通过批判性评估三个经常在批评中出现的观点来展示LLMs仍需更多细化。其次，文章从实证和理论的角度提出了对LLMs中“真正”的理解和意向性的实用观点，并讨论了在何种情况下将心理状态归因于LLMs对于这一日益重要的技术在社会中具有实用的哲学背景。
Oct, 2023
该研究综述了大型语言模型的评估方法，并提出了知识与能力评估、对齐评估和安全评估三个主要方面的评估方法，以及涵盖能力、对齐、安全和适用性的综合评估平台的构建。希望该综述能够推动对大型语言模型评估的更多研究兴趣，以促进负责任发展和最大化社会利益，同时最小化潜在风险。
Oct, 2023
大型语言模型在推理任务中表现出色，但是它们的推理能力深度尚不确定。本文通过综述超越任务准确性的研究，深入探讨模型的推理过程，并调查评估语言模型推理行为的方法，发现其依赖于训练数据的表面模式和相关性，而非真正的推理能力。同时，我们指出需要进一步研究人类推理与语言模型推理之间的关键差异。通过此综述，我们旨在揭示大型语言模型内部复杂的推理过程。
Apr, 2024
对于大型语言模型（LLMs）的研究，包括基本原理、应用领域以及训练过程，本综述论文对于上下文学习、多种微调方法以及参数使用效率优化等机制进行探讨，同时深入研究了如何通过创新的强化学习框架和融入人类反馈的新方法来更好地与人类偏好相统一的问题。还研究了将外部知识融入LLMs的新兴技术——检索增强生成。对于LLMs的伦理问题，论文讨论了需谨慎且负责任的应用需求。最后，论文展望了未来的研究方向，提供了关于当今及未来LLMs领域中不断发展的全面且简明的概述，为人工智能领域的研究人员和实践者提供了有益的指南。
Apr, 2024
我们引入了一个综合的语言基准测试来评估大型语言模型在逻辑推理、空间智能和语言理解等领域的局限性。通过一系列简单的问题，它揭示了知名模型在执行人类轻松处理的任务时存在的显著限制。它还强调了提示工程的潜力以缓解一些错误，并强调了更好的训练方法的必要性。我们的研究结果强调了将大型语言模型与人类推理和常识连接起来的重要性，并强调了人在企业应用中的必要性。我们希望这项工作为未来的研究提供了增强新模型的实用性和可靠性的途径。
May, 2024
通过对已有大语言模型进行适应和扩展，我们研究了构建语言专属的大语言模型。我们通过系统实验探究基础模型选择、词汇扩展和持续微调等设计选择对适应后的大语言模型的效率（编码同样数量信息所需的词汇数）和最终任务性能的影响。我们发现，（1）适应前的初始性能并不总是最终性能的指示；（2）大多数研究的大语言模型可以通过简单的词汇扩展和持续微调来提高效率；（3）最佳的适应方法高度依赖于语言，简单的方法在各种实验设置中都表现良好。与适应多语言模型相比，适应以英语为中心的模型在资源稀缺语言上可以取得更好的结果。总之，我们的工作为通过适应现有大语言模型高效构建语言专属大语言模型奠定了基础。
Jun, 2024
本研究聚焦于大型语言模型（LLM）在回答问题时的弃权行为，旨在填补在减少幻觉和提高安全性方面的研究空白。通过引入一个框架，从查询、模型和人类价值观的三个视角审视弃权行为，并识别未来研究方向，以推动弃权作为元能力的研究，进而提高AI系统的可靠性和适应性。
Jul, 2024
本文解决了大型语言模型（LLMs）在回答时拒绝提供答案的问题，从而减少幻觉风险并提高安全性。提出了一个框架从查询、模型和人类价值观三个角度审视弃权，整理了相关文献，讨论了已有方法的优缺点，并指出未来研究的潜在方向，如如何实现超越具体任务的弃权能力。
Jul, 2024
本研究旨在解决大型语言模型（LLMs）在评估其局限性方面的不足。我们提出了一种自我挑战的评估框架，通过引导LLMs发现自身错误并总结出新模式，结合人类反馈，生成更具挑战性的数据。研究表明，仅有44.96%的实例能被模型正确回答，此框架为LLMs的动态评估提供了新思路。
Aug, 2024