Dec, 2023

VoCopilot：语音激活的日常互动追踪

PDF
TL;DR本文介绍了我们正在进行的设计一种名为 VoCopilot 的新型声音跟踪系统的努力，它是一个以节能的声学硬件和固件为中心，结合先进的机器学习模型的端到端系统。通过利用大型语言模型，VoCopilot 能够在不学习复杂的机器学习技术的情况下，持续跟踪对话，记录并转录它们，并从中提取有用的见解。为了保护终端用户的隐私，VoCopilot 使用一种新颖的唤醒机制，只记录终端用户的对话。此外，整个处理过程可以在一台普通的计算机上运行（Mac Mini M2）。在本工作中，我们展示了 VoCopilot 在两个使用场景的真实环境中的有效性。
vocal tracking systemvocopilotmachine learning modelsprivacyreal-world environment
发现论文，激发创造
  • 对新手程序员使用 Copilot 的可用性和交互的研究

    近年来，深度学习的最新发展已经产生了从自然语言和代码提示中生成源代码的代码生成模型，在课堂上，学习编程的新手现在可以使用免费工具自动建议编程练习和作业的解决方案，然而，目前尚不清楚新手如何与这些工具实际交互。本文通过观察和采访初学者，研究了使用一种自动生成代码的工具 Github Copilot 的学生在典型的编程入门任务中的感知、交互模式和认知和元认知困难，并探讨 Copilot 等工具如何更好地支持和搭建新手编程体验的设计方案。

    Apr, 2023

  • 实时连续的话语交替预测：使用声音活动投影

    提出了一个基于语音活动投影（VAP）模型的实时连续交替预测系统演示。该系统基于对话立体声音频直接预测未来语音活动。VAP 模型包括对比预测编码（CPC）和自注意力变换器，之后是交叉注意力变换器。我们考察了输入上下文音频长度的影响，并演示了该系统可以在 CPU 设置下以实时方式运行，并具有最小的性能降低。

    Jan, 2024

  • 实时监控与自动化的语音识别机器人

    该研究论文介绍了一种声音识别系统，利用安卓应用程序将输入的声音信号转化为相应的文本，通过蓝牙连接方式传输文本消息作为通信平台，并且通过编码机制执行真实世界操作。该技术不仅为残障人士提供辅助工具，还在工业自动化中发挥作用，使机器人能够精确地执行特定任务。

    Dec, 2023

  • 伪飞行模拟器的语音和自然语言处理技术

    本文介绍了一种简单而高效的基于重复的模块化系统，以加速空中交通管制员的培训。该系统通过融合不同的人工智能技术，开发和集成一种伪飞行员代理，实现了对管制员语音通讯的理解，并生成响应以提高其训练效率。

    Dec, 2022

  • 与 Copilot 交流：探索使用自然语言解决 CS1 问题的 Prompt Engineering

    我们在 166 个编程问题的公开数据集上评估了 GitHub Copilot 的性能，发现它能够在第一次尝试中成功解决约一半的问题，并且仅使用问题描述自然语言的变化即可解决剩余 60％的问题；我们认为这种类型的提示工程是一种提高计算思维能力的潜在有用的学习活动，很可能改变代码编写技能发展的性质。

    Oct, 2022

  • 用于空中交通管制员培训的虚拟仿真驾驶员代理

    本文提出了一种新颖的虚拟模拟飞行员引擎，该引擎利用不同的人工智能工具加速空中交通管制员（ATCo）的培训，并且采用了自动语音识别和理解、高级空中交通管制相关实体解析、文本到语音子模块等先进工具，能够模拟控制操作场景、生成模拟机长的话语并提高实时监视数据的辨识准确度，是首次基于开源 ATC 资源和 AI 工具的研究。

    Apr, 2023

  • 医疗协助导航系统：调动通用 LLM 在医疗咨询中的力量

    提出的医疗协作助手通过对话、记忆和处理三个组件的结合，提高了大型语言模型在医疗咨询中的查询能力、对话流畅度、回答准确性和安全性。

    Feb, 2024

  • 基于 RASA 的车载语音智能助手系统

    基于 RASA 框架的语音智能助理开发，用于车辆导航、通信、天气预报、新闻更新和音乐播放等任务。

    Dec, 2023

  • 数据副驾驶：用自主工作流桥接亿万数据与人类

    提出了基于大型语言模型的数据处理系统 Data-Copilot，通过自主设计各种功能接口，实现了数据的自动处理和可视化，符合人机交互的需求。

    Jun, 2023

  • 基于情境的副驾驶：程序员如何与代码生成模型交互

    通过观察 20 名参与者与 Copilot 互动解决不同编程任务的方式，通过首次建立的理论分析表明，编程助手的交互为双峰分布：在加速模式下，程序员知道下一步该做什么并使用 Copilot 完成；而在探索模式下，程序员不确定如何进行并使用 Copilot 探索选项。基于我们的理论，我们提出了改善未来 AI 编程助手可用性的建议。

    Jun, 2022