ICMLJun, 2023

利用对抗性提示和大型语言模型在天文学中生成健壮假设

PDF
TL;DR该研究探讨了在天文学中应用大型语言模型（LLMs），尤其是 GPT-4，通过上下文提示，将模型提供给多达 1000 篇来自 NASA 天体物理学数据系统的论文，探索通过将模型浸入特定域的文献中可能提高性能的程度。我们的发现表明，在使用上下文提示时，假设生成可以得到实质性的提升，并且通过对抗性提示进一步强调了这一优势。我们展示了对抗性提示如何使 GPT-4 从庞大的知识库中提取关键细节以产生有意义的假设，这标志着将 LLMs 用于天文学科学研究的创新步骤。
发现论文，激发创造
  • 星际闲聊：使用大型语言模型与天文文献交流

    本文采用 OpenAI GPT-4 大型语言模型进行天文论文的上下文引导交互，并利用蒸馏技术最优化输入效率。通过 10 个蒸馏文档的多文献语境去探索模型的反应，结果表明 GPT-4 能够提供具有相关研究成果框架背景下的详细答案，对天文学界提供了潜力巨大的应用前景，特别是猜测生成方面的可能性。

    Apr, 2023

  • 大型语言模型和知识图谱用于天体实体消歧

    通过使用大型语言模型 (LLMs) 和知识图谱聚类来提取天文文本中的实体和关系，本研究在黑客马拉松期间进行了一项实验，并演示了一种消歧实体的方法，该实体可在天文领域的各种上下文中出现。通过收集特定实体周围的摘录并利用 GPT-4 语言模型，提取相关实体和关系。然后使用利登算法对这些提取的信息构建知识图谱，并对图谱进行聚类。利登聚类结果被用来识别未知摘录与每个聚类的关联度百分比，从而实现消歧。实验展示了在天文研究中将 LLMs 和知识图谱聚类技术相结合进行信息提取的潜力，结果强调了该方法在识别和消歧实体以及基于关系对它们进行有意义聚类方面的有效性。

    Jun, 2024

  • ExpertPrompting：指导大规模语言模型成为卓越专家

    本文介绍了一种使用 ExpertPrompting 技术的方法，通过 In-Context Learning 实现了定制化的指令，并将其用于训练基于 GPT-3.5 的 ExpertLLaMA 模型，实现了与 ChatGPT 相近的对话效果。

    May, 2023

  • 基于算法问题的 GPT-4 评测：对提示策略的系统评估

    GPT-4 在具有可控问题难度的三个算法任务中通过先进的提示技术展现了优越的准确性，证明了先进的大型语言模型在需要系统化泛化的挑战性任务中具备很强的基准性能。

    Feb, 2024

  • ReviewerGPT？使用大型语言模型进行论文审阅的初步研究

    使用 GPT-4 大型语言模型来辅助论文审核的研究发现其可以有效识别大部分错误，然而在挑选更好的论文时还存在一定误差。

    Jun, 2023

  • PromptBench：评估大型语言模型对对抗性提示的鲁棒性

    本研究使用 adversarial prompts 对 Large Language Models 进行度量，并分析了 prompt 鲁棒性及其传递性，为 prompt 组合提供了实用性建议。

    Jun, 2023

  • 挑战性数学问题求解的 GPT-4 实证研究

    本文探索使用 GPT-4 解决更复杂的数学问题，并评估了各种使用 GPT-4 的方法，包括作者提出的新的对话式解决框架 - MathChat。针对 MATH 数据集中的困难高中竞赛题进行了评估，结果表明所提出的对话式方法具有优势。

    Jun, 2023

  • 探索在天文学科学出版物中使用 ChatGPT 的应用

    通过对 ChatGPT 用于学术写作时所使用的词进行提取，以及在 100 万篇天文学文章中搜索这些词，研究评估了这些模型在天文学论文写作中的广泛应用，并提出建议，鼓励组织、出版商和研究人员共同制定伦理和实用指南，以最大程度地发挥这些系统的优势并保持科学严谨。

    Jun, 2024

  • 通过全球规模的提示破解竞赛揭示 LLM 系统的系统性漏洞

    通过全球 prompt 黑客竞赛，我们描述了当前大规模语言模型可以通过 prompt 黑客而遭受攻击，提供了对三种最先进的大规模语言模型进行的 600K+ 对抗性 prompt 的数据集，并提出了对敌对 prompt 类型的综合分类本体论。

    Oct, 2023

  • 监督式提示训练

    通过使用监督性提示训练（Supervisory Prompt Training）方法，我们提出了一种新颖的方法，可以自动地生成高效的提示，从而提高大型语言模型（LLMs）的性能和减少幻觉，为传统的模型微调提供了一种高效且可扩展的替代方案。

    Mar, 2024