demonstrations | BriefGPT - AI 论文速递

关键词demonstrations

搜索结果 - 54

从自省到最佳实践：多模态情景学习中示范的原则分析
通过对多种规模模型在广泛的新任务上进行系统而有原则的评估，我们展示了多模态在上下文学习中的不同影响，并通过模态驱动的示范策略提高了性能。我们的分析为理解多模态上下文学习中示范的作用提供了全面的方法，并为改进多模态上下文学习提供了启示。
PDF3 days ago
ManiWAV: 从野外的视听数据学习机器人操作
通过收集具有音频和视觉反馈的野外人类示范数据，以及相应的策略接口，本文介绍了 ManiWAV: 一种用于直接从示范中学习机器人操作策略的 “手中的耳朵” 数据采集设备，并通过四个接触丰富的操作任务展示了系统的能力。
PDF7 days ago
SeCoKD: 对大型语言模型进行上下文学习的对齐方法，更少的示例
我们研究了如何减少示范数量，同时保持竞争性能。我们提出了 SeCoKD，一种自我知识蒸馏训练框架，通过将学生模型与大量提示变体对齐，从而提高单个示范的利用率。结果表明我们的方法在零示范和一示范设置中分别比基准模型和监督微调 (SFT) 的性
PDF14 days ago
基于离线数据的观测模仿学习的双重方法
通过学习一个多步效用函数来量化每个行动对智能体与专家的访问分布之间的差异，我们提出了 DILO (从观测中进行双重模仿学习) 算法，它可以利用任意次优数据学习模仿策略而不需要专家行动，从而有效地解决了高维观测问题，表现得更好。
PDF21 days ago
ACL零样本上下文学习的演示增强
我们提出了一种名为 Demonstration Augmentation for In-context Learning (DAIL) 的方法，通过利用模型之前预测的历史样本作为后续样本的演示，来解决大型语言模型在零 - shot 学习中依
PDFa month ago
零样本策略学习的极简提示
通过在任务参数上进行调节，基于 Transformer 的模型展现出了与依赖演示任务相当甚至更好的零样本泛化能力。
PDF2 months ago
长篇上下文模型的现场学习：深入探索
当模型的上下文长度不断增加时，可以提供的演示数量接近整个训练数据集的规模。在多个数据集和模型上，我们研究了在这种极端规模下的上下文学习（ICL）的行为。我们展示了对于许多具有大型标签空间的数据集，性能在数百或数千个演示中仍在增加。与示例检索
PDF2 months ago
解析标签空间、格式和歧视：通过上下文学习重新思考 LLM 如何响应并解决任务
通过实证研究，我们在文中将 ICL 的整体表现分解为三个方面，即标签空间、格式和区分能力，并评估四种通用语言模型在各种任务中的性能。结果显示，虽然示范对于激发语言模型的区分知识的影响较小，但 ICL 对于调节标签空间和格式的表现具有显著效果
PDF3 months ago
扮演他人角色中的扩散：利用扩散进行机器人的视角理解
在人形机器人中，我们引入了一种新的传播模型，该模型旨在使机器人直接从第三人称演示中学习。我们的模型能够通过转换两个视角之间的物体大小和旋转以及环境来学习和生成第一人称视角，从而充分利用易于产生的第三人称演示和易于模仿的第一人称演示的优势。该
PDF3 months ago
从演示中学习 LTL 规范的解释整合
该研究探讨了最新的大型语言模型（LLMs）是否能够帮助将人类解释转化为能够支持从演示中稳定学习线性时间逻辑（LTL）的格式。我们提出了一种将 LLMs 和基于优化的方法结合的方法，用于忠实地将人类解释和演示转化为 LTL 规范。通过几个案例
PDF3 months ago
通过示范来改善政策透明度的闭环教学
通过教育文献中的原则，如邻近发展区和测试效果，本文探讨了一种闭环教学框架，利用测试方法关闭循环并在学习过程中维护人类信念的粒子滤波器模型，从而实时提供针对人类当前理解的演示。用户研究发现，我们提出的闭环教学框架相比基准方案将人类测试响应的遗
PDF3 months ago
通过语言指导探索引导引导启动代理
使用 BAGEL 方法在没有人类监督的情况下通过往返于两个噪音的语言模型组件：将轨迹转换为合成指令的 LM 标签器和将合成指令映射为精细轨迹的零射语言模型代理，将随机探索的轨迹或合成指令转化为演示，快速将初始轨迹分布转换为自然语言描述的轨迹
PDF4 months ago
TeleMoMa：一种用于移动机器人操作的模块化多功能远程操作系统
在该论文中，我们演示了 TeleMoMa，这是一种用于移动操纵机器人的整体远程操作的通用模块化接口。通过使用多种人机接口（包括 RGB 和深度摄像机、虚拟现实控制器、键盘、游戏杆等），TeleMoMa 降低了人们提供移动操纵演示的门槛。通过
PDF4 months ago
ICLRMEND: 元演示蒸馏用于高效有效的上下文学习
通过元知识蒸馏，Meta dEmonstratioN Distillation (MEND) 实现了对大型语言模型的演示的压缩，从而提高了其效率和可扩展性。
PDF4 months ago
概念感知数据构建改善语言模型的上下文学习
通过概念感知训练框架构建训练场景，提高预训练变换器在上下文学习过程中利用新的潜在概念的能力，并使这种能力使得上下文学习对先前模型的功能性缺陷更具鲁棒性，相对于传统指令优化，在大多数新任务上具有更好的效果，并且训练数据规模相当的情况下，表现与
PDF4 months ago
示威活动对多语种场景学习的影响：多维度分析
通过多维度分析多语言上下文学习对不同模型、任务和语言的效果，发现演示的有效性在各个方面有显著差异，并且发现 Llama 2-Chat、GPT-3.5 和 GPT-4 对演示的质量基本不敏感。相反，精心设计的模板往往完全消除了某些任务和语言的
PDF4 months ago
探索上下文学习与指导调整之间的关系
In this work, the relationship between In-Context Learning (ICL) and Instruction Tuning (IT) is explored by examining ho
PDF8 months ago
上下文学习的动态演示控制器
通过动态调整演示数量，我们提出了一个动态演示控制器（D$^2$Controller），该控制器可以提高在十个数据集上的八种不同尺寸的大型语言模型（LLM）上的 In-Context Learning（ICL）性能，并在之前的 ICL 模型上
PDF9 months ago
人类生成的演示对于情境学习是否必要？
大型语言模型在上下文学习方面表现出的极佳的少样本学习能力，然而很大弊端是容易受到选定示范的影响，并且生成这些示范也很复杂。为了解决这个问题，本文提出了一种自我思辨激励策略（SEC），这是一种无需人工示范的范例。SEC 的关键是让语言模型首先
PDF9 months ago
工具文档实现大语言模型的零投射工具使用
大语言模型使用工具文档而非演示来实现正确的工具使用，在视觉和语言模式下多个任务中，零样本工具文档能够与少样本演示相媲美，在实际的工具使用数据集中，工具文档明显比演示更有价值，使用工具文档还可以自动启用新应用。
PDFa year ago