Dec, 2023

TACO：算法代码生成数据集中的主题

PDF
TL;DR我们介绍了 TACO，这是一个开放源代码的大规模代码生成数据集，重点关注算法的光学，旨在提供更具挑战性的训练数据和评估基准，用于代码生成模型领域。TACO 包括竞赛级编程问题，旨在增强或评估实际编程场景中的问题理解和推理能力。数据集中包含了训练集和测试集中的 25433 个和 1000 个编码问题，以及高达 155 万个多样化的解决方案答案。此外，每个 TACO 问题都包含了任务主题、算法、编程技巧和难度级别等多个细粒度标签，为训练和评估代码生成模型提供更精确的参考。数据集和评估脚本可在 Hugging Face Hub 和 Github 上获取。
tacocode generation datasetoptics of algorithmsprogramming questionstraining and evaluation
发现论文，激发创造
  • TACO：垃圾背景下垃圾检测的垃圾注释

    TACO 是一个用于垃圾检测和分割的开源图像数据集，它通过众包不断壮大。本文首先描述了这个数据集及支持它的工具，其次，我们使用 Mask R-CNN 在当前版本的 TACO 上报告了实例分割性能。尽管规模较小（1500 张图片和 4784 个注释），但我们在这个具有挑战性的问题上取得了有希望的结果。但是，为了在实际部署中达到令人满意的垃圾检测，TACO 仍需要更多的手动注释。这些可以通过此 http URL 被贡献。

    Mar, 2020

  • DACO：应用驱动的全面数据分析

    通过利用语言模型的代码生成能力和多轮提示技术，我们提出了 DACO-RL 算法，在数据分析领域生成高质量答案，通过人工批注验证该算法在 57.72% 的情况下生成更有帮助的答案。

    Mar, 2024

  • CodeQA: 一个面向源代码理解的问答数据集

    提出了 CodeQA，一个免费的自由格式问题回答数据集，旨在实现源代码理解：给定代码片段和问题，需要生成文本答案。包含 119,778 个 Java 问题 - 答案对和 70,085 个 Python 问题 - 答案对的 CodeQA 数据集。通过语法规则和语义分析将代码注释转换为问题 - 答案对。对数据集进行了系统分析，并展示了几个神经网络的实验结果。尽管关于问题回答和机器阅读理解的研究发展迅速，但很少有先前的工作关注代码问题回答。这个新数据集可以作为源代码理解研究的有用基准。

    Sep, 2021

  • CodeT：生成测试的代码生成

    在本文中，我们提出了一种新方法 CodeT，利用预先训练的语言模型自动生成代码示例的测试用例，从而减少人工成本并增加测试场景的覆盖范围，最终实现基于生成的测试用例的代码解决方案选择。

    Jul, 2022

  • TheoremQA：基于定理的问答数据集

    本文介绍了一个以定理驱动的问答数据集 TheoremQA，用于评估人工智能模型应用定理解决具有挑战性的科学问题的能力。研究人员使用 16 个大型语言和代码模型评估 TheoremQA，并发现 GPT-4 在 Program-of-Thoughts Prompting 的帮助下解决这些问题的能力是无与伦比的，达到了 51％，而现有的所有开放源代码模型都低于 15％，仅仅超过了随机猜测的基线。

    May, 2023

  • DS-1000：数据科学代码生成的自然可靠基准

    DS-1000 是一个包含 1000 个数据科学问题的代码生成基准测试，主要关注多样性、可靠性和防止记忆化，并使用多标准指标进行自动评估。

    Nov, 2022

  • Premier-TACO：通过时间驱动对比损失进行多任务表示的预训练

    Premier-TACO 是一种多任务特征表示学习方法，旨在提高序贯决策任务中的少样本策略学习效率。它利用一组多任务离线数据集对通用特征表示进行预训练，捕捉关键的环境动态，并使用最少的专家演示进行微调。它改进了时空行动对比学习（TACO）目标，在视觉控制任务中取得了最先进的结果，并结合了一种新颖的负样本采样策略，极大地提高了 TACO 的计算效率，从而使大规模多任务离线预训练成为可能。我们在包括 DeepMind Control Suite、MetaWorld 和 LIBERO 在内的多个连续控制基准测试中进行了大量的实证评估，结果表明 Premier-TACO 在预训练视觉表示方面效果显著，在少样本模仿学习新任务中得到了显著的改善。我们将在此 URL 发布代码、预训练数据和预训练模型检查点。

    Feb, 2024

  • 增强形式定理证明：一个用于训练 Coq 代码 AI 模型的综合数据集

    该研究论文介绍了一个专门设计用于提高大型语言模型在解释和生成 Coq 代码方面能力的全面数据集，通过亦包含源引用和许可信息的数千个 Coq 源代码文件，初步实验表明使用该数据集训练的模型在 Coq 代码生成方面具有显著的潜力。

    Mar, 2024

  • 基于时序和潜变量的对比损失的视觉强化学习方法：TACO

    本文介绍了一种名为 TACO 的时间驱动对比学习方法，通过优化当前状态与行动序列表示和相应未来状态表示之间的相互信息，同时学习状态和行动表示，并在深度强化学习的多个方面上实现了性能提升。

    Jun, 2023

  • TACo: 基于 Token 的级联对比学习，用于视频文本对齐

    本文提出一种名为 Token-Aware Cascade 的算法，使用两种新技术来改进对比学习，包括考虑单词的语法类别的 token-aware 对比损失和应用级联采样方法用于有效评估多模态融合层的损失。实验证明，Token-Aware Cascade 算法在文本 - 视频检索、视频动作定位和视频动作分割等下游任务中表现卓越，超过了以往的方法，成为了 YouCook2、MSR-VTT 和 ActivityNet 等三个公共文本 - 视频检索基准数据集的新的表现最佳算法。

    Aug, 2021