超越自然语言：利用替代格式增强推理与沟通的 LLM

Feb, 2024

超越自然语言：利用替代格式增强推理与沟通的 LLM

Beyond Natural Language: LLMs Leveraging Alternative Formats for Enhanced Reasoning and Communication

Weize Chen, Chenfei Yuan, Jiarui Yuan, Yusheng Su, Chen Qian...

TL;DR通过探索非自然语言表达的实用性，本文挑战了大型语言模型默认使用自然语言的做法，并展示了在单个语言模型推理和多智能体通信方面，让语言模型自主选择最合适的表达形式可以提高 3.3% 至 5.7% 的推理效率以及多智能体通信中高达 72.7% 的记号使用减少，并保持沟通有效性。同时，综合分析揭示了语言模型可以从有限的任务指令中设计一种格式，并且所设计的格式可以有效地在不同的语言模型之间转换。该研究还发现，语言模型决定的结构化通信格式与已建立的智能体通信语言存在显著的相似性，显示出在智能体通信中向高效、结构化通信的自然演化。

Abstract

natural language (NL) has long been the predominant format for human cognition and communication, and by extension, has been similarly pivotal in the development and application of large language models (LLMs). Y

natural language large language models non-nl formats reasoning efficiency multi-agent communication

发现论文，激发创造

正式 - LLM：将正式语言和自然语言整合为可控制的基于 LLM 的代理人

该篇论文提出了一种名为 ``Formal-LLM'' 的新型框架用于基于 LLM 的代理，通过结合自然语言的表现力和形式语言的准确性，使规划过程具有控制性，从而防止代理生成无效和不成功的计划，并且通过实验验证了该框架在任务性能上取得的超过 50% 的整体性能提升，为在规划的有效性至关重要的应用场景中更广泛地利用 LLM 提供了可能性。

Feb, 2024

LLM 能够正式对话吗？自动评估 LLM 在翻译和解释正式规范中的表现

利用大型语言模型 (LLMs) 将自然语言描述转换为形式化规范的能力进行了评估，提出了一种使用两个 LLMs 与现成验证程序结合的方法来自动评估其翻译能力，结果显示目前最先进的 LLMs 无法充分解决这个任务，限制了它们在复杂系统设计中的实用性。

Mar, 2024

通过问答探究语言模型对结构化语义理解和生成的能力

最近大规模语言模型能力的进步引发了对其评估的新浪潮，这篇研究工作通过在自然语言和形式语言之间的相互转换来验证大规模语言模型理解和生成结构化逻辑形式的能力，实验证明现今最先进的大规模语言模型在理解逻辑形式方面整体上接近人类水平，但在生成正确逻辑形式方面仍有改进的空间，使用大规模语言模型生成更自然的语言训练数据以增强小型模型的效果更好，同时结果还表明模型对不同形式语言表现出显著的敏感性，总体而言，形式化程度较低、更接近自然语言的形式语言对大规模语言模型更友好。

Jan, 2024

自然语言编程学习

使用自然语言作为一种新的编程语言来描述任务过程，让其易于被人类和 LMMs 理解，并进一步借助 Learning to Program (LP) 方法通过学习来自训练集中的自然语言程序，优化复杂任务的问题解决能力，该方法在 AMPS 和数学两个数据集上的有效性得到验证，证明其性能超过直接零样本测试表现 18.3%。

Apr, 2023

大型语言模型的经济性权衡：一个案例研究

使用大型语言模型（LLMs）辅助人类客服代理商自动生成现成或有改动的响应已成为许多公司降低雇用客服代理商成本的方式。本文通过使用成本框架评估一个 NLP 模型的实用性，将其应用于特定品牌的案例研究并比较三种 LLM 的专业化策略，发现模型的响应可用性可以补偿推理成本的巨大差异，并将研究结果推广到更广泛的企业领域。

Jun, 2023

利用大语言模型将自然语言转换为计划目标

本研究探讨了大型语言模型是否能够将自然语言的目标翻译成结构化的计划语言。我们使用 GPT 3.5 变种进行了实验，结果表明大型语言模型更适合进行翻译而不是规划，虽然这些模型能够利用常识知识和推理填补自然语言目标中缺失的细节，但在涉及到数字或物理推理的任务中，它们可能会出现失败，并且对所使用的提示信息很敏感。

Feb, 2023

利用大型语言模型生成答案集程序

本文提出了一种神经符号方法，将大型语言模型和答案集编程的优势相结合，以将逻辑谜题的自然语言描述转化为答案集程序。

Jul, 2023

利用 LLM 的力量进行 MAS 中的规范推理

基于大语言模型的代理能力的研究及挑战，旨在促进多主体系统、自然语言处理和大语言模型研究领域的合作，以推动规范代理的发展。

Mar, 2024

大型语言模型在语言学习中的口语智能

评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

Aug, 2023

面向关系推理的 LLMs：我们离目标有多远？

通过对归纳逻辑编程基准测试的深入评估，本研究表明与模型规模较小的神经程序归纳系统相比，最新的大型语言模型在推理能力方面表现较差，无论是使用自然语言提示还是真值矩阵提示，它们在性能和泛化方面都表现较低。

Jan, 2024