使用数据增强和优化偏好改进苏格拉底问答生成

Mar, 2024

使用数据增强和优化偏好改进苏格拉底问答生成

Improving Socratic Question Generation using Data Augmentation and Preference Optimization

Nischal Ashok Kumar, Andrew Lan

TL;DR通过使用强化学习反馈和直接优化方法，我们提出了一种数据增强方法和优化模型来处理大型语言模型生成的无效问题，实验结果显示，经过优化的 LLama 2 模型在生成有效问题方面优于现有的方法。

Abstract

The socratic method is a way of guiding students toward solving a problem independently without directly revealing the solution to the problem. Although this method has been shown to significantly improve student learning outcomes, it remains a complex labor-intensive task for instruct

socratic method large language models socratic questioning datasets reinforcement learning dpo-optimized llama 2 model

发现论文，激发创造

教学数学应用题的苏格拉底子问题自动生成

通过提出各种引导问题生成方案，基于输入条件和强化学习探索了大型语言模型在引导数学词问题求解中生成顺序问题的能力，发现在这种约束性问题的属性下，可生成高质量的问题，并提高了整体问句求解的性能。通过初步用户研究发现，提出的许多问题对于教育领域有潜在的价值。

Nov, 2022

语言模型是否能使用苏格拉底方法？代码调试实验

通过创建数据集并使用不同的语言模型进行基准测试，我们介绍了一个多轮 Socratic 建议的手动数据集，旨在帮助初学者程序员修复简单计算问题的错误解决方案，以及自动化 Socratic 对话代理的调试能力评估。

Oct, 2023

Socratic 学习：扩展生成模型以融入训练数据中的潜在子集

本文介绍了一种用于神经网络的增强学习方法，通过利用关系提取任务的弱监督数据进行训练，将逐渐生成高质量的标注数据，并提高模型的精度并减少误差。

Oct, 2016

Socratic Pretraining: 基于问题的预训练方法用于可控摘要

本文介绍了一种基于问题驱动的无监督预训练目标 ——Socratic 预训练，该方法使得预训练模型更加高效地遵循用户提供的查询，并识别相关内容进行长文本可控摘要。作者的实验结果表明，Socratic 预训练方法不仅具有较高的性能，而且将特定任务的标记数据需求减少了一半。

Dec, 2022

学习提出有信息量的问题：利用偏好优化和期望信息增益增强 LLM

该论文介绍了一种增强大型语言模型生成问题信息性的方法，通过在 20 问游戏对话中应用直接偏好优化算法，从同一模型中抽样多个问题，创建低信息增益和高信息增益问题的配对来提高问题的效果，并在不同领域展示了该方法的有效性。

Jun, 2024

SOCRATIC QUESTIONING 的艺术：利用递归思维和自问自答进行零样本多模态推理

本研究提出了 Socratic Questioning 算法，该算法模拟了人类在解决复杂问题时分治的思维过程，并应用于视觉问答任务，取得了在三个公共基准数据集上都显著超过对照组的性能提升。

May, 2023

指导而非协助：基于 LLM 的多轮规划和分层提问用于苏格拉底代码调试

Socratic questioning is used as a teaching strategy in the code debugging domain, and TreeInstruct, an Instructor agent guided by a state space-based planning algorithm, effectively assists students in identifying and resolving errors through multi-turn interactions, demonstrating state-of-the-art performance in both single and multi-bug datasets.

Jun, 2024

苏格拉底推理改善正向文本重写

通过使用 Socratic rationales 来合理化思维改写过程，改进了积极文本改写的方法，以应用于无障碍心理健康和心理治疗的大型语言模型解决方案。

Mar, 2024

SocREval: 使用苏格拉底方法进行无参考推理评估的大型语言模型

利用 GPT-4 和苏格拉底方法，我们提出了一种新的基于 SocREval 的评估框架，能够自动评估当前模型的推理能力，并证明了该框架在消除人工参考链的情况下，显著提高了 GPT-4 的性能，超过了现有的基于参考和无参考的推理评估指标。同时，我们的研究表明这个框架在成本效益、提示编写和示例选择方面都是有效且健壮的。

Sep, 2023

检索增强生成以改善数学问答：关于实际性和人类偏好之间的权衡

为了中学数学学生，与导师进行互动式问答是一种有效的学习方式，尤其在数学概念的概念讨论方面，使用生成式大语言模型（LLMs）自动化部分辅导过程，结合检索增强生成（RAG）系统，从高质量开源数学教材中检索和使用内容来生成辅导的回答对于中学代数和几何问题解答得到了积极评价，但需考虑学生所偏好的回答和与特定教育资源相匹配回答之间的平衡。

Oct, 2023