通过传感器数据、方程式和自然语言，在上下文操作学习时的刺激

Aug, 2023

通过传感器数据、方程式和自然语言，在上下文操作学习时的刺激

Prompting In-Context Operator Learning with Sensor Data, Equations, and Natural Language

Liu Yang, Tingwei Meng, Siting Liu, Stanley J. Osher

TL;DR在科学机器学习的不断发展中，上下文操作符学习在推理阶段从提示数据中学习操作符而无需进行权重更新方面显示出显著潜力。然而，当前模型对传感器数据的过度依赖可能会无意中忽视对操作符的宝贵人类洞察力。为了解决这个问题，我们将上下文操作符学习转化为多模态范式的方法。我们提出使用 “标题” 来集成人类关于操作符的知识，通过自然语言描述和方程式来表达。我们说明了这种方法不仅扩展了物理驱动学习的灵活性和广泛性，而且显著提高了学习性能并减少了数据需求。此外，我们介绍了一种更高效的多模态上下文操作符学习神经网络架构，称为 “ICON-LM”，基于类似语言模型的架构。我们展示了 “ICON-LM” 在科学机器学习任务中的可行性，为语言模型的应用开辟了新的道路。

Abstract

In the growing domain of scientific machine learning, in-context operator learning has demonstrated notable potential in learning operators from prompted data during inference stage without weight updates. However, the current model's overdependence on sensor data, may inadvertently ov

scientific machine learning in-context operator learning multi-modal paradigm captions icon-lm

发现论文，激发创造

走向更统一的上下文视觉理解

我们提出了一种新的具有多模态输出功能的视觉理解的上下文学习框架，通过将文本和视觉提示量化和嵌入到统一的表示空间中，并采用仅具有解码器的稀疏 Transformer 架构在其上执行生成建模。实验结果表明，我们的模型在统一的多模态管线中实现了与专门模型和先前上下文学习基准模型相竞争的性能。总体而言，我们的研究在统一多模态上下文学习方面迈出了进一步的一步。

Dec, 2023

Auto-ICL: 无人监督的上下文学习

在大语言模型时代，人机交互朝着自然语言发展，提供了前所未有的灵活性。然而，大语言模型在上下文学习领域内高效运行往往依赖于结构良好的提示。为了解决这一挑战，我们的研究提出了一个名为自动上下文学习的通用框架。在接收到用户的请求后，我们要求模型自主生成示例，包括标签、说明或推理路径。然后，模型利用这个自产的上下文来解决给定的问题。我们的方法具有普适性，可在适用于普通上下文学习的任何环境中实施。我们展示了我们的方法在一系列任务中取得了强大的性能，并与现有方法相比表现出色。

Nov, 2023

SINC：自我监督上下文学习用于视觉 - 语言任务

本文提出了一种自监督的上下文学习 (SINC) 框架，可以在视觉 - 语言领域的各种任务中进行前馈预测，无需通过渐变更新进行特定任务微调，并表明在少样本数据的情况下 SINC 方法优于基于梯度的方法。

Jul, 2023

概念感知训练提高语言模型的上下文学习能力

文中介绍了一种名为 CoAT 的优化方法，利用模拟训练数据来帮助语言模型更好的利用其背景知识。使用 CoAT 训练的 In-context learners 性能表现良好，达到了在多任务训练中更大规模模型的性能水平。

May, 2023

面向视觉与语言模型的多模态上下文学习

通过对一些最先进的 VLM（Visual Language Model）进行分析，我们发现它们在执行 ICL（In-Context Learning）指令时存在一定的不足。为了验证这个猜想，我们提出了一种简单但令人惊讶地有效的策略，通过扩展一个常见的 VLM 对齐框架，实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解，从而显著提升了 21.03% 的 ICL 表现（平均 11.3%），超过了最强 VLM 基线和多种 ICL 基准，并为 VLM 的 ICL 评估贡献了新的基准，并讨论了它们相对于现有技术的优势。

Mar, 2024

超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

Apr, 2022

概念感知数据构建改善语言模型的上下文学习

通过概念感知训练框架构建训练场景，提高预训练变换器在上下文学习过程中利用新的潜在概念的能力，并使这种能力使得上下文学习对先前模型的功能性缺陷更具鲁棒性，相对于传统指令优化，在大多数新任务上具有更好的效果，并且训练数据规模相当的情况下，表现与先前的上下文学习模型相当。

Mar, 2024

学习检索上下文学习提示

本文提出了一种有效的方法，利用标注数据和语言模型（LM）检索 in-context learning 的提示，训练稠密的检索器并在三个序列到序列任务中发现它明显优于之前的工作和多个基线。

Dec, 2021

基于情境的场景理解

探索了一种简单的机制，即通过从带注释的特征提示中进行最近邻检索的上下文学习，并提出了一种新的预训练协议，利用图像内部和跨图像的注意力，使得 Hummingbird 模型在不修改的情况下能够执行各种场景理解任务，同时接近于为每个任务进行微调的专家的性能，并且可以更高效地配置 Hummingbird 模型以执行新任务，进一步提高了交互式助手模式下的场景理解的可能性。

Jun, 2023

指示我更多！用于视觉背景学习的随机提示

通过引入可学习的扰动（提示），我们提出了一种名为 Instruct Me More（InMeMo）的方法，以增强视觉上下文学习的性能，对前景分割和单物体检测任务的 mIoU 分数分别提高了 7.35 和 15.13。

Nov, 2023