- AI-Based 编码辅助在实践中的应用:现状、观点和未来发展
AI 助手在软件工程中的使用情况对开发者的需求和改进方向具有重要影响。
- 敏捷开发中的人机协作探索:定制化 LLM 会议助手
这项行动研究着重于在两个敏捷软件开发会议中集成 “AI 助手”:每日 Scrum 会议和特性细化会议,在内部实施的扩展敏捷框架中的计划会议。我们讨论了成功的关键因素,建立了使用 AI 和团队协作动力学之间的联系。我们总结了在实际工业环境中的 - COLING反演上下文学习:通过破坏理解提示
通过对大语言模型进行随机组成的实验,研究了任务描述、示例输入、标签、行内指令等多个因素对模型性能的影响,发现重复文本、大型模型以及任务和行内指令对模型性能提升具有积极影响。
- 通过廉价高效的提示工程提升 GitHub Copilot 的基于 AI 的代码合成安全性
提出并评估了三种 Prompt 修改方法,并在实际场景中使用 OpenVPN 项目对 GitHub Copilot 的有效性进行了评估,结果表明这些方法可减少不安全的生成代码样本的数量高达 16%,增加安全代码的数量高达 8%。
- COLING超越静态评估:评估 AI 助手 API 调用能力的动态方法
大型语言模型和 AI 助手通过 API 调用的能力取得了显著的进展,然而现有的评估方法可能具有误导性,我们提出了自动动态评估方法(AutoDE)来评估助手的 API 调用能力,不涉及人类的参与。实验证明 AutoDE 可以发现静态评估所遗漏 - 远程按键记录攻击对 AI 助手的影响
使用大型语言模型利用侧信道攻击读取加密的 AI 助手回复内容,并成功恢复了 29% 的回复并推测了 55% 的主题。
- AI 助理可以知道他们不知道的吗?
AI 助手可以通过模型特定的 'I don't know'(Idk)数据集来拒绝回答未知问题,且问答准确率显著提高。
- 线性对齐:无需调整和反馈的人类偏好对齐的闭式解法
基于语言模型的人工智能助手的成功依赖于从人类反馈中进行强化学习,而传统的对齐算法受到复杂的注释和训练要求的限制。本文引入了一种名为线性对齐的算法,通过一次推断步骤将语言模型与人类偏好对齐,消除了对数据注释和模型训练的依赖。线性对齐通过一种新 - 基于长期条件记忆的演化大型语言助理
使用长期口头记忆的一种发展中的大型语言模型助理,旨在保存来自用户和 AI 助手之间历史对话的知识和经验,并应用于未来对话以生成更好的回应。
- 必要时澄清:通过与语言模型的交互解决多义性
我们提出了一个任务无关的框架来通过询问用户澄清问题来解决模型中的歧义,我们的方法在确定何时需要澄清、确定要问的澄清问题以及通过澄清获得的新信息方面都取得了显著成果,并对模型的不确定性进行了估计,我们的方法在准确识别需要澄清的预测方面始终优于 - 探究语言模型中的奉承行为
强化学习从人类反馈中得出的结论表明,AI 助手普遍倾向于表达符合用户观点而非真实观点的回应。研究人员发现,人类偏好判断起到了一定的推动作用,并且倾向于选择奉承性的回应。这种奉承行为可能会影响模型的真实性。
- 通过群不变学习提高对人类偏好的对齐的泛化能力
通过增强学习技术,我们提出了一种新方法来训练基于语言模型的 AI 助手,在不同数据组和领域之间实现一致的策略,并提高训练稳定性和模型泛化能力。
- 组装中每个错误都重要
通过利用学习的知识库,我们构建了一个基于空间和时间信念的系统,能够识别装配程序中的排序错误,并通过实验验证了我们的算法在实际行动序列中识别错误顺序方面的卓越性能。
- CVPRCVPR'2023 AQTC 挑战赛解决方案:多步推理视频对齐
本研究介绍一种通过学习指导性视频,为用户提供操作设备的逐步指导的场景,并提出了一种解决方案来提高多步推理的视频对齐,通过实验展示了其方法的有效性和优越性,并获得了 CVPR'2023 AQTC challenge 第二名。
- 面向决策的人工智能协作对话
研究了对话决策问题的一个类别,其中 AI 助手与一个或多个人通过自然语言协作,帮助他们做出复杂的决策。为不同的任务建立了对话环境,并使用这些环境收集了人与人的对话作为基线,同时提出了模型在决策导向的对话中面临着一些挑战,并释放了环境作为未来 - 可微分用户模型
本文介绍了一种通过不同 iable surrogates 来规避计算时间瓶颈的方法,这种方法可以使现代行为模型在线使用而无需考虑其计算成本,并且在计算时间上可以实现与无法似然推断方法相当的建模能力,最后,我们展示了如何使 AI 助手在先前研 - 基于情境的副驾驶:程序员如何与代码生成模型交互
通过观察 20 名参与者与 Copilot 互动解决不同编程任务的方式,通过首次建立的理论分析表明,编程助手的交互为双峰分布:在加速模式下,程序员知道下一步该做什么并使用 Copilot 完成;而在探索模式下,程序员不确定如何进行并使用 C - ACLFLIN: 用于 Web 导航的灵活自然语言接口
FLIN 是一种自然语言接口用于网页导航,它将用户的命令映射到概念级别的操作并可灵活适应不同的网站,与低级 UI 操作不同。
- ACL基于数据库的对话自然语言接口的高效部署
研究使用对话式多轮数据的方法加速训练自然语言到查询语言的机器学习模型,旨在解决领域数据有限及集成过程繁琐耗时等问题。