研究探讨了基于内存为中心的计算系统中处理器内存访问瓶颈和大量能量消耗的解决方案，考察 PIM 架构对机器学习算法训练的潜力，通过评估经典算法在 PIM 和传统 CPU、GPU 上的性能、准确度和扩展性对比，表现出更高效的处理机制和更好的加速效果。

Jul, 2022

本文介绍了一种名为 Prompt-augmented Linear Probing (PALP) 的方法，它是一种线性探测和上下文学习 (ICL) 的混合体，利用这两种方法的最佳部分。PALP 通过将输入数据整理成更可理解的形式来使语言模型获得更有意义的表示，并提高输入表示的能力，缩小了 ICL 和 fine-tuning 之间的差距。

Dec, 2022

本研究通过对数据访问和计算模式的分析，以深度优化算法和硬件，提出了两种利用 PIM 范式进行机器学习和混合事务 / 分析处理的数据中心架构。

May, 2022

使用 Aalalp 模型能够更好地解决数据隐私、数据异构性、领域知识复杂性以及领域目标独特性等挑战，主要关注法律推理而非法律记忆，对律师、法官和从事法律系统工作的人非常有帮助。

Jan, 2024

本文介绍 InsightPilot，这是一个基于 LLM（Large Language Model）的自动化数据探索系统，可以通过发出对应的意图查询（IQueries）来简化数据探索流程，通过其与最先进的洞察引擎之间的迭代协作，有效地分析现实世界的数据集，使用户可以通过自然语言查询获得有价值的见解。

Apr, 2023

大规模数据集上的机器学习（ML）训练是一项非常昂贵和耗时的工作负载，处理器中心化体系结构（例如，CPU，GPU）常用于现代 ML 训练工作负载，但受制于数据移动瓶颈，即不断访问训练数据集。因此，处理器中心化系统面临着性能下降和高能耗的问题。内存中处理（PIM）是缓解数据移动瓶颈的有希望的解决方案，将计算机制放置在或靠近内存中。我们的目标是了解流行的分布式优化算法在现实世界的 PIM 架构上加速数据密集型 ML 训练工作负载的能力和特性。结果表明，现代通用 PIM 体系结构可以成为许多内存受限的 ML 训练工作负载与最先进的 CPU 和 GPU 的可行替代方案，当 PIM 硬件本地支持操作和数据类型时。此外，仔细选择最适合 PIM 的优化算法以及对于许多数据密集型 ML 训练工作负荷而言，当节点数增加时，与常见观点相反，现代 PIM 架构不能实现线性扩展。为了促进未来的研究，我们打算开源我们的完整代码库。

Apr, 2024

为了解决多样化的视觉任务，我们提出了一种名为 Plan, Execute, Inspect, and Learn（PEIL）的交织代码和语言推理方法的多模态 AI 助手 AssistGPT，该助手集成了大语言模型与各种工具，实现了最先进的性能。

Jun, 2023

Med-PaLM 2 combines improvements in Large Language Models, medical domain fine-tuning, and novel ensemble refinement approaches to achieve a state-of-the-art performance approaching or exceeding physician-level performance in medical question answering.

May, 2023

本论文介绍了一种新颖的方法，使用大型语言模型来读取自然语言问题并生成程序作为中间推理步骤，但将求解步骤委托给运行时，如 Python 解释器，在 13 个数学、符号和算法推理任务中展示了神经大型语言模型和符号解释器之间的协同作用。

Nov, 2022

通过识别用户提示背后的意图，我们调查了一种基于 GPT 的意图推理方法，以简化大型语言模型（LLMs）的工具选择，从而提高系统的效率。通过在运行时缩小任务执行所需的 API 工具集合，我们将记号消耗减少了多达 24.6％。在一个具有 100 个 GPT-4-Turbo 节点的实际大规模并行 Copilot 平台上的初步结果显示出成本的降低和改善 LLM 系统效率的潜力。

Apr, 2024