Dec, 2023

仅评估定位：在线地图数据集中的数据泄漏及解决方法

PDF
TL;DR基于监督学习的在线地图方法在训练和评估过程中存在数据泄露的严重问题。为了揭示在未知环境中的真实性能，本研究引入了地理分割的数据，并通过实验证明其对性能评估的重要影响。
data leakagesupervised learningonline mappinggeographical splitsperformance evaluation
发现论文，激发创造
  • 数据集地理：将语言数据映射到语言使用者

    研究了自然语言处理中数据可用性对现代 NLP 系统质量的影响，使用实体识别和链接系统，观察了它们的跨语言一致性，并探讨了解释观察到的数据集分布的地理和经济因素。

    Dec, 2021

  • LLMGeo: 大规模语言模型在野外图像地理定位中的基准测试

    利用多模态语言模型，我们系统评估其图片地理定位能力，并通过新的图像数据集和全面的评估框架进行训练及非训练的评估。结果表明，闭源模型展示出更好的地理定位能力，而开源模型通过微调可达到相当的性能。

    May, 2024

  • 数据集制图：利用训练动态映射和诊断数据集

    使用 Data Maps 工具基于模型的训练动态量化和诊断数据集。实验结果表明，数据地图揭示了数据集中的模糊、易于学习和难以学习的区域，这些发现对于构建健壮的模型和提高分布外泛化能力非常重要。

    Sep, 2020

  • 你所见即你所得：使用深度神经网络的经验排名进行拓扑定位的数据集对比相似度

    利用最相关的视觉记忆来定位或者事先预测定位的可能结果对于高效和稳健的视觉导航非常有用。我们提出了一种高度可扩展的工具 Visual DNA，用于比较图像数据集，鉴于本文中的深度架构在特定层面上通过匹配特征体积进行地点识别，我们使用分布度量来比较活体图像和多个先前记录的过往经验之间神经元激活统计的差异，发现这些差异与使用具有相同外观差距的过去经验进行定位的性能相关。我们验证了我们的方法在 Nordland 跨季节数据集以及牛津大学公园的数据中，展示了我们系统在候选经验的实际定位性能排序方面的出色能力。

    Oct, 2023

  • 记忆化 VS 泛化：量化自然语言处理性能评估中的数据泄漏

    利用公共数据集来评估自然语言处理（NLP）中最先进方法的有效性和普适性时，训练和测试数据集之间的重叠会导致结果被高估，为了评估这些方法在实际场景中的性能，我们发现在用于评估 NLP 任务的几个公开数据集中，存在训练数据泄漏到测试数据中的情况，对此进行研究以评估泄漏对模型记忆与泛化能力的影响。

    Feb, 2021

  • GeoNet: 评测跨地理区域的无监督适应性

    本文研究地理鲁棒性问题，提出 GeoNet 数据集并探究其背后的分布变化，表明现有无监督领域适应算法和大规模预训练不足以处理地理适应问题。

    Mar, 2023

  • 释放无标签数据：跨视角地理定位的范例

    本研究探讨了大范围视角交叉地理定位（CVGL）中无标签数据的有效利用，包括无监督和半监督设置。我们提出了一个无监督框架，其中包括交叉视角投影来指导模型检索初始伪标签，并通过利用 “完全配对的地面 - 卫星图像位于一个独特且相同场景” 的事实的快速重新排序机制来改进伪标签。该框架在三个开源基准测试上展示了竞争性能，我们的代码和模型将在该网址上发布。

    Mar, 2024

  • 揭示蛋白质相互作用基准中的数据泄漏

    分析了蛋白质相互作用数据集中常见的数据泄漏问题并提出了构建基于蛋白质相互作用界面的结构相似性的数据集划分方法。

    Apr, 2024

  • 跨模态检索训练中的数据泄露：一项案例研究

    本文主要研究声音检索中，数据集的自动获取问题。作者通过分析 SoundDesc 数据集的问题，提出了新的训练、验证和测试集，避免了数据泄漏问题，该数据集的效果更具有挑战性。

    Feb, 2023

  • 针对 CrowdAI 贴图挑战赛数据集的大规模图像去重和泄漏检测

    通过使用感知哈希技术的 drop-in pipeline，有效地去重和排查数据泄露问题来评估 CrowdAI Mapping Challenge 数据集的质量。实验结果表明，该数据集中近 90% 的训练样本是相同的，且该数据集存在 93% 的数据泄露问题。

    Apr, 2023