- LoRA 学习更少，遗忘更少
通过在编程和数学这两个目标领域上比较 Low-Rank Adaptation (LoRA) 和全精调 (full finetuning) 的性能，我们发现在大多数情况下，LoRA 的表现明显逊于全精调；然而，LoRA 展现了一种理想的正则化 - 使用丰富视觉编程问题评估多模态编程大型语言模型
在代码编写过程中，开发人员通常利用视觉辅助工具更有效地传达概念。然而，最近在大型多模态模型方面的发展表明在视觉推理和数学任务方面取得了显著能力，但在研究这些模型是否能够有效地解释用于代码生成的视觉元素方面几乎没有相关工作。为此，我们提出了 - 软件工程教育中的 AI 辅导
利用 GPT-3.5-Turbo 模型作为 AI 导师的自动化编程评估系统中，利用经验数据和探索性调查发现了不同用户类型以及与 AI 导师的交互模式，总结了实时反馈和可扩展性等优势，但也指出了一些挑战，例如通用回答和学生对使用 AI 导师时 - 基于深度编程学习风格捕捉的个性化编程指导
基于其让学习者更好地掌握编程技能和个性化编程指导的目标，本文提出了一种名为 PERS 的新模型，通过模拟学习者复杂的编程行为，并结合 Felder-Silverman 学习风格模型，实现对编程行为的全面描述和个性化编程指导的有效性验证。
- 公共社区评分用于编程领域中的问答强化学习
本研究通过采用人类反馈驱动的强化学习与来自 Stack Overflow 的得分，加强了 GPT Neo 125M 在编程社区问答（CQA）中的性能，在使用近端策略优化（PPO）的 fine-tuning 过程中使用了两种不同的奖励模型训练 - 为教育适应大型语言模型：基本能力、潜力和挑战
基于大型语言模型的教育系统研究，评估其在教育能力方面的潜力，并提出统一和专家混合两种方法构建下一代智能教育系统，同时探讨了挑战和未来发展方向。
- 面向交互式机器人编程的领域特定大型语言模型精调
工业机器人在不断扩大的行业范围内得到应用，但机器人编程大多仍局限于编程专家的任务。我们提出了一种基于自然语言的助手，用于高级工业机器人应用的编程，并研究了在有限的数据和计算资源下领域特定微调基础模型的策略。
- DSPy 断言：自我完善语言模型管道的计算约束
通过 DSPy 编程模型引入新的编程构造：链式语言模型 (LM) 调用作为可组合的模块，用于表达 LM 应满足的计算约束条件。LM Assertions 不仅改善规则和准则的一致性，还提高了下游任务性能，分别实现内在和外在收益最高达到 35 - 编程测试中不当福利和 ChatGPT 滥用的识别：一项受控实验
ChatGPT 的使用会加速编程测试的完成速度，为学生提供参考代码，但存在学术诚信问题和可能的抄袭风险。
- IJCAI使用局部搜索优化程序：你能优化我的代码吗？
本文介绍了一种用于改进现有程序的本地搜索方法，即基于单项游戏评分提高程序效率的 POLIS 方法，在 27 人的用户研究中得到验证，可以作为可衡量目标的编程问题的有用助手。
- 探索大型语言模型在解决编程问题中的鲁棒性
该研究探讨了大型语言模型在编程问题中的应用，发现最新技术如 InstructGPT 和 ChatGPT 在处理指令时表现优异，而早期使用变量名如 Codex 的模型的性能受描述问题时表浅的指标较大影响。
- 广泛使用的面向对象编程语言的比较分析
本文提出了一个全面的框架来评估广泛使用的面向对象语言，这些语言基于其技术和环境特征进行评估。
- ChatGPT 对源代码的分析
本文介绍了如何利用大型语言模型 (LLMs) 和尤其是 ChatGPT 进行编程、源代码分析和代码生成，研究了 LLMs 和 ChatGPT 在代码创建、代码文档化、漏洞检测、重构等多个领域中的应用，并指出它们在编程社区中的使用有望得到进一 - 问题回答作为编程解决时效性问题
本文旨在将大语言模型（LLMs）应用于问题作为编程（QAaP）中，以解决具有时间约束的事实问题，我们试图利用 LLMs 将各种表达形式的文本表示为良好结构的代码，以此来获取所需的知识和底层符号约束条件。
- 人类仍优于 ChatGPT：以 IEEEXtreme 竞赛为例
本篇论文通过 IEEExtreme 挑战赛的实验数据分析，来证明 ChatGPT 在程序设计中的实现能力与人类相比存在劣势。同时，论文提出了 AI 语言模型的局限性与可能的改进方向。
- xCodeEval：一项用于代码理解、生成、翻译和检索的大规模多语言多任务基准测试
人工智能正在开发出可以用于程序编写的 AI 系统，生成代码的自然语言描述，语言模型在生成代码的过程中表现出了良好的性能，但它们的评估通常只在少数语言和部分层次上进行，还需要更好的培训数据。
- 利用大型语言模型和基于故事情节的游戏化设计智能辅导系统，以支持入门级编程课程：基于设计的研究研究
本研究旨在探讨如何利用大型语言模型和游戏化技术，提高中国留学生在编程课程中的学习效果和归属感，通过开发智能教学系统来适应他们的学习需求和提供支持。
- 当神经模型遇到 NL2Code: 一项调查
本文为了促进自然语言处理领域，特别是 NL2Code 的发展，提出了一个基于神经网络模型的综合框架以解决该任务，并对现有研究进行了深入分析，总结了当前的挑战与未来发展方向。
- 编程自然语言处理调查
本文综述了自然语言处理在编程方面的研究，并从推理模型到最新竞争级模型全面调查了现有的相关工作，具有技术类别的完整性，方便查找和比较未来的工作。
- 利用大型语言模型增强编程错误信息
使用大型语言模型增强编程错误消息，以提供错误说明和修复建议，从而生成比原始编程错误消息更易于理解和可操作的编程错误消息。