- 使用大型语言模型进行相关语言机器翻译的分解提示
本研究提出了一种针对相关语言即语言家族内具有相似语言特征的机器翻译的新方法,将翻译过程分解成单词块翻译的序列,并证明了该方法的有效性。
- 通过为元学习生成演示来改进组合泛化能力
本文研究了基于元学习和少样本训练的方法如何实现某些组合行为,并提出了一种代理系统,该系统通过生成可能与测试查询和当前世界状态相关的支持来解决测试查询。实验表明,这种方法在以前未解决的组成行为方面表现出显着的提高。
- 大型语言模型合成文本数据集的语言多样性可视化
本研究提出了一款交互式可视化工具 LinguisticLens,通过对大语言模型生成的数据集的句法多样性进行聚类,用户可以快速检查数据集的总体情况并检查单个示例。
- ZARA: 提升小语言模型 Few-Shot 自我合理化能力
本研究探索了利用解释来改善小型语言模型的 few-shot 自我合理性。我们提出了一种新方法 Zero-shot Augmentation of Rationale-Answer pairs (ZARA),通过将可能性判断问题转换为自然语言 - ACL以 Prompted LLMs 作为聊天机器人模块进行长时间开放域对话
本文提出了一种新的方法 MPC(模块化提示聊天机器人),该方法利用预训练的大型语言模型作为独立模块,通过使用 few-shot prompting、chain-of-thought 和外部记忆等技术,实现长期的一致性和灵活性。我们的人类评估 - 跨常识任务转移程序知识
研究了 AI 模型透明地将过程知识传输到新的叙述任务的能力,并设计了 LEAP 框架,该框架基于自然和合成故事的一流建模体系结构、训练方案和增强策略,包括基于少量提示的强健自动标签器,来增强受到稀缺注释训练数据的学习。
- 大型语言模型的自动多步推理和工具使用
ART 框架使用冻结的 LLM 自动生成中间推理步骤作为程序,并能无缝集成生成和外部工具使用,使得在 BigBench 和 MMLU 基准测试中,通过自动 CoT 和 few-shot 提示,ART 实现了对未知任务的实质性改进。在选定的任 - GPT-3 是否能够进行法定推理?
本文探索了最强大的 GPT-3 模型 ——text-davinci-003,在一个已建立的立法推理数据集 SARA 上的能力,并尝试了各种方法,包括动态少量提示、思维链提示和零提示。尽管我们在 GPT-3 中取得了优于以前发表的最佳结果的成 - 程序辅助语言模型
本论文介绍了一种新颖的方法,使用大型语言模型来读取自然语言问题并生成程序作为中间推理步骤,但将求解步骤委托给运行时,如 Python 解释器,在 13 个数学、符号和算法推理任务中展示了神经大型语言模型和符号解释器之间的协同作用。
- 激励 PaLM 进行翻译:评估策略和性能
本文探究了训练在多种语言但不是平行语料库上的大型语言模型(LLMs)在语言翻译方面的惊人能力,尤其是针对 Pathways 语言模型(PaLM)的表现最优。我们研究了选择翻译示例的各种策略,并得出结论,考虑到示例的质量是最重要的因素。通过优 - 代码生成模型的多语言评估
本文提出了新的基准测试,包括 MBXP,Multilingual HumanEval 和 MathQA-X,以测试多语言环境下代码生成模型的性能,并发现了多语言模型的优势,以及通过 few-shot prompting 实现对模型新语言的教 - 自由文本理由的信息理论评估
提出了一种基于信息论的度量方法 REV,可以量化自由文本推理中支持给定标签的理由中的新信息,并通过定量比较证明该方法较现有指标能够更敏感地测量文本中新信息的能力,此度量方法还与人类评判的评估结果一致,为模型的推理和预测过程提供更深入的洞见, - 分解提示:解决复杂任务的模块化方法
提出了分解提示法(Decomposed Prompting)的方法,通过将复杂任务分解成简单的子任务来解决复杂任务,并且可以针对每个子任务优化其专用提示,进一步分解复杂任务并取得更好的性能,特别是在符号推理任务和多步推理任务中。
- 利用视觉可供性在非结构化数据上进行语言基础建设
本文提出了一种基于视觉语言感知模型的新方法,可以在真实世界中从非结构化、离线、无需重置的数据中高效地学习通用的、以语言为条件的机器人技能,实验表明该方法配合 LLMS 可以在真实世界中完成长期、多层次的任务,并比以往方法少使用一个数量级的数 - 通过少量训练示例提升互联网语言模型用于开放领域问答
该研究旨在通过使用大规模语言模型(LSLM)独特的少样本能力,借助于 Google 搜索返回的信息对语言模型进行少量提示,从而克服其与现实事实和最新信息相关性的挑战,从而使得模型在开放领域问题回答方面的性能优于相同或更大规模的封闭书模型,同 - P4E: 基于提示引导的少样本事件检测及定位
本研究提出了一种结合少量样本激励和结构化预测的识别与定位事件检测框架 P4E,该框架将事件检测分解为识别任务和定位任务,利用填空提示来对准获得预训练任务的目标,从而使我们的模型能够快速适应新的事件类型。