自动驾驶 数据集

前言

网上有很多自动驾驶数据集分享，分散在各个论坛、知乎、github和博客中，每种数据集也被拆分来分享导致非常不方便，我这边需要汇总在一起，方便我后续的阅览和更新，同时我希望数据集的发布时间尽量在2018年之后的，所以就有了这篇文章，数据集的分类方法也是跟别人一样，分成8大类，这个分法我觉得非常不错，所以直接拿来用了。

自动驾驶数据集分类：

1. 目标检测数据集
2. 语义分割数据集
3. 车道线检测数据集
4. 光流数据集
5. 全景数据集
6. 定位与地图数据集
7. 驾驶行为数据集
8. 仿真数据集

目标检测数据集

Waymo数据集

• 发布方：Waymo
• 下载地址：https://waymo.com/open/
• 发布时间：2019年发布感知数据集，2021年发布运动数据集
• 大小：1.82TB
• 简介：Waymo数据集是到目前为止最大、最多样化的数据集，相比于以往的数据集，Waymo在传感器质量和数据集大小等方面都有较大提升，场景数量是nuScenes数据集的三倍

• Perception Dataset

  • 1950个自动驾驶视频片段，每段视频包括20s的连续驾驶画面
  • 汽车、行人、自行车、交通标志四类标签
  • 1260万个3D框，1180万个2D框
  • 传感器数据：1 个中程激光雷达、4 个短程激光雷达、5个摄像头
  • 采集范围涵盖美国加州的凤凰城、柯克兰、山景城、旧金山等地区的市中心和郊区。同时涉及各种驾驶条件下的数据，包括白天、黑夜、黎明、黄昏、雨天、晴天

• Motion Dataset

  • 包括574 小时的数据，103,354个带地图数据片段
  • 汽车、行人、自行车三类标签，每个对象都带有2D框标注
  • 挖掘用于行为预测研究的行为和场景，包括转弯、并道、变道和交汇
  • 地点包括：旧金山、凤凰城、山景城、洛杉矶、底特律和西雅图

PandaSet

• 发布方：禾赛科技&Scale AI
• 下载地址：https://scale.com/resources/download/pandaset
• 发布时间：2019
• 大小：16.0 GB
• 简介：Pandaset面向科研及商业应用公开。首次同时使用了机械旋转式和图像级前向两类激光雷达进行数据采集，输出点云分割结果

• 特征

  • 48000多个摄像头图像
  • 16000个激光雷达扫描点云图像(超过100个8秒场景)
  • 每个场景的28个注释
  • 大多数场景的37个语义分割标签
  • 传感器：1个机械LiDAR，1个固态LiDAR，5个广角摄像头，1个长焦摄像头，板载GPS / IMU

nuScenes

• 发布方：无人驾驶技术公司Motional
• 下载地址：https://scale.com/open-datasets/nuscenes/tutorial
• 论文地址：https://arxiv.org/abs/1903.11027
• 发布时间：2019
• 大小：547.98GB
• 简介：nuScenes 数据集是自动驾驶领域使用最广泛的公开数据集之一，也是目前最权威的自动驾驶纯视觉 3D 目标检测评测集。nuScenes数据集灵感来源于kitti，是首个包含全传感器套件的数据集。其中包含波士顿和新加坡的 1000 个复杂的驾驶场景。该数据集禁止商用

• 特征

  • 全传感器套件：1个激光雷达、5个雷达、6个摄像头、GPS 、 IMU
  • 1000个场景，每个场景20秒（850个用于模型训练，150个用于模型测试）
  • 40万个关键帧，140万张相机图片，39万个激光雷达扫描点云图像，140 万个雷达扫描点云图像
  • 为23个对象类标注的1400万个3D标注框

Lyft Level 5

• 发布方：来福车（Lyft）交通网络公司
• 下载地址：https://level-5.global/register/
• 论文地址：https://arxiv.org/pdf/2006.14480v2.pdf
• 发布时间：2019年发布Lyft-perception数据集，2020年发布Lyft-prediction数据集

• Lyft-perception

  • 简介：来福车的自动驾驶汽车配备了一个内部传感器套件，可以收集其他汽车、行人、交通灯等的原始传感器数据

  • 特征

    • 超过 55,000 帧，由人工进行3D标注
    • 130万3D标注
    • 3万激光雷达点云数据
    • 350个60-90分钟的场景

• Lyft-prediction

  • 简介：该数据集包括无人驾驶车队遇到的汽车、骑自行车者、行人等其他交通行为主体的动作记录。这些记录来自通过原始激光雷达、相机和雷达数据，是训练运动预测模型的理想选择

  • 特征

    • 1000 个小时的驾驶记录
    • 17 万个场景：每个场景持续约 25 秒，包括交通信号灯、航拍地图、人行道等
    • 2575 公里：来自公共道路的 2575 公里数据
    • 15242 张标注图片：包括高清语义分割图以及该区域的高清鸟瞰图

H3D - HRI-US

• 发布方：本田研究所
• 下载地址：https://usa.honda-ri.com//H3D
• 论文地址：https://arxiv.org/abs/1903.01568
• 发布时间：2019
• 简介：使用3D LiDAR扫描仪收集、大型全环绕3D多目标检测和跟踪数据集，该数据集仅供大学研究人员使用

• 特征

  • 360 度 LiDAR 数据集
  • 160个拥挤且复杂的交通场景
  • 27,721帧，1,071,302个3D标注框
  • 自动驾驶场景中8类常见对象的人工标注
  • 传感器：3个高清摄像头，1个激光雷达，GPS / IMU

Boxy vehicle detection数据集

• 发布方：博世
• 下载地址：https://boxy-dataset.com/boxy/
• 论文地址：https://openaccess.thecvf.com/content_ICCVW_2019/papers/CVRSUAD/Behrendt_Boxy_Vehicle_Detection_in_Large_Images_ICCVW_2019_paper.pdf
• 发布时间：2019
• 大小：1.1TB
• 简介：大型车辆检测数据集，该数据集的亮点在于其500万像素的高分辨率，但不提供3D点云数据以及城市道路交通数据

• 特征

  • 220万张、共1.1TB的高分辨率图像
  • 500万像素分辨率
  • 1,990,806个车辆标注，包括2D框标注和2.5D标注
  • 包括晴天、雨天、黎明、白天、傍晚等多种场景
  • 涵盖交通拥堵和畅通的高速公路场景

BLVD

• 发布方：西安交通大学人工智能与机器人研究所
• 下载地址：https://github.com/VCCIV/BLVD/
• 论文地址：https://arxiv.org/pdf/1903.06405.pdf
• 发布时间：2019
• 简介：全球首个五维驾驶场景理解数据集。BLVD旨在为动态4D跟踪（速度、距离、水平角度和垂直角度）、5D交互事件识别(4D+交互行为)和意图预测等任务提供一个统一的验证平台。由西安交通大学夸父号无人车采集

• 特征

  • 标注654个包含12万帧的序列，全序列5D语义注释
  • 249129条3D目标框，4902个有效可跟踪的独立个体
  • 总长度约214900个跟踪点
  • 6004个用于5D交互事件识别的有效片段，4900个可以进行5D意图预测的目标
  • 丰富的场景：城市和高速公路、白天和夜晚
  • 多个对象：行人、车辆、骑行者（包括骑自行车和骑摩托车的人）
  • 传感器：一个Velodyne HDL-64E三维激光雷达、GPS / IMU、两个高分辨率多视点相机

SODA10M 数据集

• 发布方：华为诺亚方舟实验室&中山大学
• 下载地址：https://soda-2d.github.io/download.html
• 论文地址：https://arxiv.org/pdf/2106.11118.pdf
• 发布时间：2021
• 大小：5.6GB（带标记的数据），2TB（未标记的数据）
• 简介：半/自监督的2D基准数据集，其主要包含从32个城市采集的一千万张多样性丰富的无标签道路场景图片以及两万张带标签图片

• 特征

  • 1000万张无标签图片以及2万张有标签图片，由手机或行车记录仪(1080P+)每10秒获取一帧图像
  • 6种主要的人车场景类别：行人、自行车、汽车、卡车、电车、三轮车
  • 覆盖中国32个城市
  • 场景的多样性覆盖：晴天/阴天/雨天；城市街道/高速公路/乡村道路/住宅区；白天/夜间/黎明/黄昏
  • 地平线保持在图像的中心，车内的遮挡不超过整个图像的15%

D²-City数据集

• 发布方：滴滴
• 下载地址：https://www.scidb.cn/en/detail?dataSetId=804399692560465920
• 发布时间：2019年
• 大小：131.21 GB
• 简介：D²-City是一个大规模行车视频数据集。与现有的数据集相比，D²-City胜在其数据集的多样性，数据集采集自运行在中国五个城市的滴滴运营车辆，并且涵盖不同的天气、道路和交通状况

• 特征

  • 10,000 多个视频，所有视频均以高清（720P）或超高清（1080P）分辨率录制，所提供的原始数据均存储为帧率25fps、时长30秒的短视频
  • 其中大约有1000个视频对12类对象都进行2D框标注以及跟踪标注，包括汽车、货车、公共汽车、卡车、行人、摩托车、自行车、开放式和封闭式三轮车、叉车以及障碍物
  • 所提供的原始数据均存储为帧率25fps、时长30秒的短视频
  • 丰富的场景：涵盖了不同的天气、道路、交通状况，尤其是极复杂和多样性的交通场景，如光线不足、雨雾天气、道路拥堵、图像清晰度低等

Apollo Scape数据集

• 发布方：百度
• 下载地址：http://apolloscape.auto/scene.html
• 发布时间：2018-2020年
• 简介：百度阿波罗数据集包括轨迹预测、3D 激光雷达目标检测和跟踪、场景解析、车道语义分割、3D 汽车实例分割、立体和修复数据集等

• 特征

  • 场景分割数据：ApolloScape发布的整个数据集包含数十万帧逐像素语义分割标注的3384 x 2710高分辨率图像数据
  • 车道语义分割：110,000多帧的高质量的像素级语义分割数据
  • 3D物体检测和追踪数据集：在中国北京的各种照明条件和交通密度下收集

BDD100K

• 发布方：加州大学伯克利分校AI实验室（BAIR）
• 下载地址：https://bdd-data.berkeley.edu/
• 论文地址：https://arxiv.org/pdf/1805.04687.pdf
• 发布时间：2018
• 大小：57.45GB
• 简介：BDD100K凭借其数据集的多样性赢得了很大关注，该数据集通过众包的方式由数万名司机进行采集，涵盖的城市包括纽约、旧金山湾区和其他地区。BAIR 研究者在视频上采样关键帧，并为这些关键帧提供标注

• 特征

  • 100,000个高清视频，超过1,100小时的驾驶记录，每个视频大约40秒长，清晰度为720p，帧率为30
  • 视频还包含GPS位置信息、IMU数据和时间戳
  • 涵盖晴天、阴天、雨天、雪天、多雾天气、多云6种天气；白天、夜晚；城市道路、隧道、高速公路、居民区、停车场和加油站等不同驾驶场景
  • 研究者为每个视频的第10秒采样关键帧
  • 包含以下几种标注类型：图像标注、车道线标注、可行驶区域标注、道路目标检测、语义分割、实例分割、多目标检测跟踪等

DAIR-V2X数据集

• 发布方：清华大学智能产业研究院（AIR）、北京市高级别自动驾驶示范区、北京车网科技发展有限公司、百度Apollo、北京智源人工智能研究院
• 下载地址：https://thudair.baai.ac.cn/cooptest
• 发布时间：2022年
• 简介：DAIR-V2X数据集是全球首个用于车路协同自动驾驶研究的大规模、多模态、多视角数据集，全部数据采集自真实场景，同时包含2D&3D标注

• 特征

  • 总计71254帧图像数据和71254帧点云数据
  • DAIR-V2X协同数据集(DAIR-V2X-C)，包含38845帧图像数据和38845帧点云数据
  • DAIR-V2X路端数据集(DAIR-V2X-I)，包含10084帧图像数据和10084帧点云数据
  • DAIR-V2X车端数据集(DAIR-V2X-V)，包含22325帧图像数据和22325帧点云数据
  • 首次实现车路协同时空同步标注
  • 传感器类型丰富，包含车端相机、车端LiDAR、路端相机和路端LiDAR等类型传感器
  • 障碍物目标3D标注属性全面，标注10类道路常见障碍物目标
  • 采集自北京市高级别自动驾驶示范区10公里城市道路、10公里高速公路、以及28个路口
  • 数据涵盖晴天/雨天/雾天、白天/夜晚、城市道路/高速公路等丰富场景
  • 数据完备，包含脱敏后的原始图像和点云数据、标注数据、时间戳、标定文件等
  • 训练集和验证集已发布，测试集将随同后续Challenge活动发布

Argoverse

• 发布方：Argo AI、卡内基梅隆大学、佐治亚理工学院
• 下载地址：https://www.argoverse.org/av1.html
• 论文地址：https://arxiv.org/pdf/1911.02620.pdf
• 发布时间：2019年
• 简介：Argoverse 数据集包含 3D Tracking 和 Motion Forecasting 两部分。Argoverse数据集与Waymo有些不同，虽然它也包含激光雷达和摄像头数据，但它只覆盖了在迈阿密和匹兹堡记录的113个场景。其特别之处在于，它是第一个包含高清地图数据的数据集

• 特征

  • 第一个包含高清地图数据的数据集：包含匹兹堡和迈阿密290公里的车道地图，如位置、连接、交通信号、海拔等信息
  • 传感器：2个激光雷达，7个高分辨率环形相机 (1920 × 1200)，2个立体相机（ 2056 × 2464 ）
  • Argoverse 3D tracking
  • 包含 113 个场景的 3d 跟踪注释，每个片段长度为 15-30 秒，共计包含 11052个跟踪对象
  • 对5米内的物体进行标注，共15个标签
  • 70%的标注对象为车辆，30%行人、自行车、摩托车等

• Argoverse Motion Forecasting

  • 从在迈阿密和匹兹堡的1006小时驾驶记录中获取，总计320小时
  • 包含324,557 个场景，每个场景 5 秒，且包含以 10 Hz 采样的每个跟踪对象的 2D 鸟瞰图

Urban Object Detection

• 发布方：机器人和立体视觉小组（The Robotics and Tridimensional Vision Group, RoViT， University of Alicante ）
• 下载地址：http://www.rovit.ua.es/dataset/traffic/#explore（邮件联系获取）
• 论文地址：https://www.mdpi.com/2079-9292/7/11/301#
• 发布时间：2018年
• 简介：该数据集中的数据来自于现有数据集，例如PASCAL VOC 、UDacity、Sweden，同时通过安装在车辆上的高清摄像头收集了一部分数据（1%左右），该数据集在公开数据集等的基础上增加了标签的类别。其中有一些数据为弱标注数据，可以用于测试弱监督学习技术

• 特征

  • 数据集被分成两部分：traffic objects 和 traffic signs
  • traffic objects数据集经2D标注，共包括汽车、摩托车、人、信号灯、公交车、自行车和交通标志
  • traffic signs 总共包含43种欧洲街道常见的交通标志，数据来自GTSRB以及Sweden
  • 共包含12000个交通标志

Road Damage Dataset 2018-2020

• 发布方：东京大学
• 下载地址：https://github.com/sekilab/RoadDamageDetector/
• 论文地址：https://arxiv.org/abs/1801.09454 、https://www.sciencedirect.com/science/article/pii/S2352340921004170
• 发布时间：2018-2020

• 简介

  • Road Damage Dataset 2018：该数据集第一次收集了大规模的道路损坏数据集，收集了日本7个城市共40多个小时的数据。由安装在汽车上的智能手机拍摄的 9,053 张道路病害图像组成，这些道路图像中包含 15,435 个路面病害实例，包含8种病害类型。每幅图像中，道路病害位置和病害类型都被标注出来
  • Road Damage Dataset 2020：该数据集使用车载智能手机拍摄，包含来自印度、日本和捷克共和国的 26,336 张道路图像，其中有超过 31,000 个道路损坏实例。该数据集收集了四种类型的道路损坏：纵向裂缝、横向裂缝、鳄鱼裂缝和坑洼

Mapillary Traffic Sign Dataset

• 发布方：Mapillary
• 下载地址：https://www.mapillary.com/dataset/trafficsign
• 论文地址：https://arxiv.org/abs/1909.04422
• 发布时间：2020年
• 简介：Mapillary 交通标志数据集是世界上最大、最多样化的公开交通标志数据集，用于检测和分类世界各地的交通标志

• 特征

  • 100,000 张高分辨率图像，52,000 张全部标注，48,000 张部分标注
  • 313个带有边界框标注的交通标志类别， 320,000 个标注的交通标志
  • 多样性：覆盖各种天气、季节、一天中的各种时间，同时包含城市和乡村地区道路，图像和交通标志类别的全球地理范围，覆盖 6 大洲

Chinese Traffic Sign Database

• 发布方：北京交通大学
• 下载地址：http://www.nlpr.ia.ac.cn/pal/trafficdata/recognition.html

• 特征

  • 6164张交通标志图像，包含58个标志类别
  • 数据集分为训练集和测试集。训练集包括4170张图片，而测试集包含1994张图片
  • 数据集收集于不同天气、光照条件等环境下，并包含部分遮挡等状况

语义分割数据集

SemanticKITTI

• 发布方：波恩大学 (University of Bonn)
• 下载地址：http://www.semantic-kitti.org/dataset.html#overview
• 论文地址：https://www.researchgate.net/profile/MartinGarbade/publication/332168840_A_Dataset_for_Semantic_Segmentation_of_Point_Cloud_Sequences/links/5cac76d0299bf184605517a1/A-Dataset-for-Semantic-Segmentation-of-Point-Cloud-Sequences.pdf
• 发布时间：2019年
• 简介：SemanticKITTI是KITTI在语义分割方向的子数据集，是激光雷达语义分割的重要基准之一，是迄今为止最大的拥有序列信息的数据集。它对 KITTI Vision Odometry Benchmark 中的所有序列都进行了标注，并为所用汽车激光雷达的完整360°视野提供了密集的逐点标注。基于该数据集，研发团队提出了三个基准任务：（i）使用单次扫描对点云进行语义分割，（ii）使用序列计算多个过去扫描的语义分段，（iii）语义场景完成

• 特征

  • 提供23 201 次全 3D 扫描用于训练，20 351 次用于测试
  • 该数据集包含 28 个标注类别，分为静态对象和动态对象，既包括行人、车辆等交通参与者，也包括停车场、人行道等地面设施
  • 数据集包括518块瓷砖，共计超过1700个小时的标注工作
  • 研发团队还将数据采集过程中用到的点云标记工具进行了开源

Highway Driving

• 发布方：韩国科学技术院（Korea Advanced Institute of Science and Technology）
• 下载地址：https://sites.google.com/site/highwaydrivingdataset/
• 论文地址：https://arxiv.org/pdf/2011.00674.pdf
• 发布时间：2019年
• 简介：高速公路驾驶数据集是一个密集标注的语义视频分割任务的基准，它所提供的标注在空间上和时间上都比其他现有的数据集更密集。每一帧的标注都考虑到了相邻帧之间的关联性

• 特征

  • 由20个60帧的序列组成，帧率为30Hz
  • 数据集分成训练集和测试集，训练集由15个序列组成，而测试集由剩下的五个序列组成
  • 帧率为30Hz的短视频片段是在高速公路驾驶的情况下拍摄的
  • 包含道路、车道、天空、栅栏、建筑、交通标志、汽车、卡车、植被和未知10类标签。未知类包括未定义的物体、采集数据的车辆的引擎盖和模糊的边缘

Wilddash

• 发布方：奥地利技术研究所
• 下载地址：https://wilddash.cc/accounts/login?next=/download
• 论文地址：https://openaccess.thecvf.com/content_ECCV_2018/papers/Oliver_Zendel_WildDash_-_Creating_ECCV_2018_paper.pdf
• 发布时间：2018年
• 大小：10.8G
• 简介：这是一个用于汽车领域的语义和汽车领域的实例分割的新测试数据集。它具有以下优点：(i) 允许对失败的测试进行回溯，以发现视觉上的风险因素; (ii) 增加负面的测试案例，以避免假阳性; (iii)具有低区域偏差和低相机设置偏差

• 特征

  • 包含了全球多样性的交通状况，包括来自世界各地的测试案例
  • 通过拥有大量来自不同国家的道路场景、道路布局以及天气和照明条件，减少了数据集的偏差
  • 具有视觉危害和改进的元信息的场景，为每个测试图像阐明涵盖了哪些危害
  • 标注：道路、人行道、停车场、铁轨、人、骑手、汽车、卡车、公共汽车、铁轨、摩托车、自行车、大篷车、建筑物、墙壁、栅栏、护栏、桥梁、隧道、电线杆、交通标志、交通灯、植被、地形、天空、地面、动态和静态
  • 包括负面的算法失败的测试案例

IDD

• 发布方：IIIT Hyderabad
• 下载地址：http://idd.insaan.iiit.ac.in/accounts/login/?next=/dataset/download/
• 论文地址：https://sci-hub.se/10.1109/wacv.2019.00190
• 发布时间：2018年
• 简介：这是一个用于理解非结构化环境中的道路场景的数据集，它反映了与现有数据集明显不同的道路场景的标签分布

• 特征

  • 由10,004张图像组成，用34个类别进行精细标注，这些类别采集于印度公路上的182个驾驶序列（完）
  • 分辨率以1080p为主，也有720p和其他分辨率的图像
  • 采集环境：海德拉巴、班加罗尔等城市及其郊区，采用车载摄像机拍摄

车道线检测数据集

Unsupervised Llamas

• 发布方：BoschN.A.Research
• 下载地址：https://unsupervised-llamas.com/llamas/
• 论文地址：https://openaccess.thecvf.com/content_ICCVW_2019/papers/CVRSUAD/Behrendt_Unsupervised_Labeled_Lane_Markers_Using_Maps_ICCVW_2019_paper.pdf
• 发布时间：2019年
• 简介：该数据集是最大的高质量车道标记数据集之一，通过该数据集，发布方提供了一个基准和基线

• 特征

  • 包括100,042张有标签的车道标记图像，来自约350公里的驾驶记录
  • 生成标记图像的管道利用自动创建的地图将标记投射到相机图像中，并依靠优化程序来提高标签的准确性
  • 包含像素级的虚线标注，每个标记的二维和三维端点以及连接标记的车道关联

BDD

• 发布方：加州大学伯克利分校
• 下载地址：https://bdd-data.berkeley.edu/
• 论文地址：https://arxiv.org/pdf/1805.04687.pdf
• 发布时间：2018年
• 简介：这是当时用于计算机视觉研究的最大，最多样化的开放式驾驶视频数据集。此外该数据集也适用于行人识别，因为它包含的行人实例比此前的专用数据集还多

• 特征

  • 数据集从每个视频的第 10 秒采样一个关键帧，并为这些关键帧提供注释
  • 它们在多个级别进行标记：图像标记、道路对象边界框、可驾驶区域、车道标记和全帧实例分割
  • 这些注释可以帮助了解不同类型场景中数据和对象统计信息的多样性

ApollpScape

• 发布方：BoschN.A.Research
• 下载地址：http://apolloscape.auto/scene.html
• 论文地址：https://arxiv.org/pdf/1803.06184.pdf
• 发布时间：2018年
• 简介：百度阿波罗数据集包括轨迹预测、3D 激光雷达目标检测和跟踪、场景解析、车道语义分割、3D 汽车实例分割、立体和修复数据集等

• 特征

  • 车道语义分割：110,000多帧的高质量的像素级语义分割数据
  • 3D物体检测和追踪数据集：在中国北京的各种照明条件和交通密度下收集

CULane

• 发布方：香港大学
• 下载地址：https://pan.baidu.com/s/1KUtzC24cH20n6BtU5D0oyw#list/path=%2F
• 论文地址：https://ojs.aaai.org/index.php/AAAI/article/view/12301
• 发布时间：2018年
• 简介：这是一个大规模的具有挑战性的数据集，用于交通车道检测的学术研究

• 特征

  • 由安装在北京六辆由不同司机驾驶的不同车辆上的摄像机收集
  • 采集超过55小时的视频，提取133235帧
  • 该数据集被分为88880张图像作为训练集，9675张作为验证集，34680张作为测试集。测试集被分为正常和8个挑战类别

光流数据集

Crowd-Flow

• 发布方：柏林理工大学
• 下载地址：https://github.com/tsenst/CrowdFlow
• 论文地址：http://elvera.nue.tu-berlin.de/files/1548Schr%C3%B6der2018.pdf
• 发布时间：2018年
• 简介：Crowd-Flow数据集旨在提供一个光流基准，重点是人群行为分析的序列

• 特征

  • 序列包含371到1451个独立运动的个体
  • 数据集由10个长度范围的序列组成，在300至450帧之间，所有序列均以25hz 的帧速率和高清分辨率呈现
  • 与此前光流数据集相比，该数据集除了提高了分辨率和帧的数量之外，还以连续序列而不是单帧对进行组
  • 织，允许评估时间一致性，例如以轨迹的形式

全景数据集

Complex Urban

• 发布方：韩国科学技术院
• 下载地址：http://irap.kaist.ac.kr/dataset
• 论文地址：https://ieeexplore.ieee.org/document/8460834
• 发布时间：2018年
• 简介：该数据集提供光探测和测距（激光雷达）数据和立体图像与各种位置传感器目标高度复杂的城市环境。所提供的数据集捕捉了城市环境（例如大都市地区、复杂建筑和居住区）的特征。给出了二维和三维激光雷达的数据，这是典型的激光雷达传感器。用于车辆导航的原始传感器数据以文件格式提供。为了方便开发，在机器人操作系统（ROS）环境中提供了开发工具

• 特征

  • 提供来自不同环境的数据，如复杂的大都市地区、住宅区和公寓楼群
  • 提供具有两个级别精度的传感器数据（普通低精度传感器和昂贵的高精度传感器）
  • 通过使用高精度导航传感器的SLAM算法和人工迭代最接近点（ICP）提供基线
  • 通过ROS为普通机器人社区提供开发工具
  • 针对不同的机器人应用使用WebGL提供原始数据和3D预览

ApolloScape

• 发布方：百度
• 下载地址：http://apolloscape.auto/stereo.html#to_data_href
• 官网地址：http://apolloscape.auto/index.html
• 发布时间：2018年
• 简介：ApolloScape是Apollo自动驾驶项目的一部分，是一个以研究为导向的项目，旨在促进自动驾驶各个方面的创新，包括感知、导航和控制。它提供了对语义注释（像素级）街景图像和模拟工具的公开访问，支持用户定义的政策。这是一个不断发展的项目，新的数据集和新的能力将被定期添加

• 特征

  • 由5165个图像对和相应的差异图，其中4156个图像对用于训练，1009个图像对用于测试
  • 通过积累来自激光雷达的三维点云和将三维CAD模型拟合到单独移动的汽车上获得真实值
  • 包含不同的交通状况和严重的遮挡

ONCE

• 发布方：华为
• 下载地址：https://once-for-auto-driving.github.io/download.html#downloads
• 论文地址：https://arxiv.org/abs/2106.11037
• 发布时间：2021年
• 简介：为了解决数据不足的问题，ONCE（One millionN sCenEs）数据集包含100万个三维场景和700万个相应的二维图像，从数量上看比最大的Waymo Open数据集多5倍，而且三维场景的记录时间为144个驾驶小时，比现有数据集长20倍，涵盖了更多不同的天气条件、交通条件、时间段和地区

• 特征

  • 200平方公里的驾驶区域，144小时驾驶时间
  • 15000个完全注释的场景，有5个类别（汽车、公共汽车、卡车、行人、自行车）
  • 多样的环境（白天/夜晚，晴天/雨天，城市/郊区）

定位与地图数据集

StreetLearn

• 发布方：DeepMind
• 下载地址：http://streetlearn.cc
• 论文地址：https://xueshu.baidu.com/usercenter/paper/show?paperid=1r4304w0c47q0xx0sb3m06c0fc659763
• 发布时间：2019年
• 简介：为了支持通过探索和与环境的互动来直接学习导航策略的研究（例如使用端到端的深度强化学习），DeepMind设计了StreetLearn，它是一个交互式的、第一人称的、部分观察的视觉环境，使用谷歌街景的照片内容和广泛的覆盖范围，包括匹兹堡和纽约市这两大区域，并给出了一个具有挑战性的目标驱动的导航任务的性能基线

• 特征

  • 照片分辨率高
  • 展示了多种城市场景
  • 以真实的街道连接图横跨城市规模的区域
  • 作者开发了几个遍历任务，要求代理在较长的距离内从一个目标导航到另一个目标

UTBM RoboCar

• 发布方：贝尔福-蒙贝利亚尔技术大学
• 下载地址：https://epan-utbm.github.io/utbm_robocar_dataset/
• 论文地址：https://arxiv.org/abs/1909.03330
• 发布时间：2019年
• 简介：该数据集通过一个多传感器平台收集数据，该平台集成了11个异质传感器，包括各种相机和激光雷达、雷达、IMU（惯性测量单元）和GPS-RTK（全球定位系统/实时运动学），同时利用基于ROS（机器人操作系统）的软件来处理感官数据。该数据集用于自主驾驶，以应对许多新的研究挑战（如高动态环境），特别是长期的自主性（如创建和维护地图）

• 特征

  • 完全基于ROS
  • 记录了城市和郊区的地图数据，并包含了许多城市和郊区驾驶的新特性，如高度动态环境（车辆里程测量中的大量移动对象）、回旋、斜坡道路、建筑绕行、激进驾驶等
  • 提供了GPS-RTK记录的地面真实轨迹，用于车辆定位
  • 捕捉了日常和季节变化，特别适合长期的车辆自主研究
  • 实现了loam velodyne和LeGO-LOAM作为基线的激光雷达里程测量基准
  • 提供了各种迂回数据旨在开展车辆行为预测的相关研究，帮助减少此类情况下的装车事故

Multi Vehicle Stereo Event Camera

• 发布方：宾夕法尼亚大学
• 下载地址：https://daniilidis-group.github.io/mvsec
• 论文地址：https://xueshu.baidu.com/usercenter/paper/show?paperid=db1a3beb87eca6e87b799b1c1d87111d
• 发布时间：2018年
• 简介：该数据集由一个同步的基于事件的立体对相机系统在各种不同的照明水平和环境下收集数据，该系统由一个手持式设备携带，由一架六旋翼飞机飞行，在汽车顶部驱动，并安装在摩托车上。每台摄像机中，提供了事件流、灰度图像和IMU读数。此外，作者利用IMU、一个刚性安装的激光雷达系统、室内和室外运动捕捉和GPS的组合，以高达100Hz的频率为每个摄像机提供准确的姿势和深度图像

• 特征

  • 基于事件的相机通过检测图像的对数强度变化来感知世界，精确地记录数十微秒级的变化和异步的、几乎是及时的反馈，允许极低的延迟响应
  • 提供了来自两个同步和校准的动态视觉和主动像素传感器的事件流，具有各种照明和速度下的长室内和室外序列
  • 精确的深度图像和高达100Hz的频率

Comma2k19

• 发布方：comma.ai
• 下载地址：https://github.com/commaai/comma2k19
• 论文地址：https://arxiv.org/abs/1812.05752
• 发布时间：2018年
• 简介：comma2k19是加利福尼亚280高速公路上超过33小时通勤的数据集。它将加利福尼亚州圣何塞和旧金山之间20公里的高速公路上行驶记录的数据分为2019段，每段1分钟。它是一个完全可重现且可扩展的数据集。该数据集是使用comma EONs收集，其传感器与任何现代智能手机的传感器相似，包括一个面向道路的摄像头，手机GPS，温度计和9轴IMU。此外，EON还使用comma grey panda捕获原始GNSS测量值和汽车发送的所有CAN数据

• 特征

  • 有一个面向道路的摄像头、一个9轴IMU、车辆传输的CAN信息和原始GNSS测量的日志
  • 所有数据都集中在一个非常小的区域，在各种条件下对同一地点的反复观察与原始GNSS日志相结合使该数据集更适合开发高性能的定位和映射算法

驾驶行为数据集

DBNet

• 发布方：上海交通大学
• 下载地址：http://www.dbehavior.net
• 论文地址：http://www.dbehavior.net/data/egpaper_release.pdf
• 发布时间：2018年
• 简介：该网络提供了由Velodyne激光扫描的大规模高质量点云、仪表盘摄像头记录的视频和标准司机行为

• 特征

  • 大规模：该数据集由超过10k帧的真实街景组成，数据总量超过1TB
  • 多样性：记录真实交通中连续而多变的场景，如海边道路、学校区域甚至是山路，其中包含了大量的十字路口、行人和交通标志
  • 高质量：数据集中的点云、视频和驾驶员行为均通过高分辨率传感器获取，能够较好地还原真实驾驶工况

HDD

• 发布方：美国本田研究所
• 下载地址：https://usa.honda-ri.com/hdd
• 论文地址：https://usa.honda-ri.com/documents/248678/249773/CVPR_18_HDD_Yi_Ting-v2.pdf/bb391444-9687-7b3b-0b34-c3534f15904f
• 发布时间：2018年
• 简介：该数据集明确的目标是学习人类如何执行行动并与交通参与者互动。作者在旧金山湾区收集了104个小时的人类真实驾驶记录，使用的是一辆带仪器的车辆。录音由137个session组成，每个session代表一个司机执行的导航任务

• 特征

  • 104小时的人类真实驾驶记录
  • 高分辨率相机：1920 x 1200像素，帧率30Hz
  • 数据收集范围包括旧金山湾区市区、郊区和高速公路

DADA

• 发布方：西安交通大学，长安大学
• 下载地址：https://github.com/JWFangit/LOTVS-DADA
• 论文地址：https://arxiv.org/abs/1912.12148v1
• 发布时间：2019年
• 简介：作者制作了该数据集用于研究驾驶员注意力预测。作者搜索了几乎所有的公共数据集和主流视频网站，获得了300万帧左右的视频，经过清洗工作后获得了2000个分辨率为1584 x 660的视频中（等于6.1小时，30fps），视频不做任何修剪工作使注意力的收集更加自然

• 特征

  • 根据事故的参与者将视频划分为54类
  • 场景涉及高速公路，城市道路，乡村道路，隧道等

仿真数据集

SHIFT

• 发布方：苏黎世联邦理工学院视觉智能和系统组
• 下载地址：www.vis.xyz/shift
• 论文地址：https://arxiv.org/abs/2206.08367
• 发布时间：2022年
• 简介：最大的自动驾驶多任务合成数据集，它呈现了云量、雨和雾的强度、一天中的时间以及车辆和行人密度的离散和连续变化。SHIFT具有全面的传感器套件和几个主流感知任务的注释，可以调查感知系统性能在领域转移水平增加时的退化情况，促进持续适应策略的发展，以缓解这一问题并评估模型的鲁棒性和通用性

• 特征

  • 最大的合成数据集
  • 一个多任务驱动数据集
  • 具有各种条件下最重要的感知任务，并具有全面的传感器设置
  • 提供了最全面的注释和条件集

Livox

• 发布方：Livox
• 下载地址：https://livox-wiki-cn.readthedocs.io/zh_CN/latest/data_summary/dataset.html
• 官网地址：https://www.livoxtech.com/cn/simu-dataset
• 发布时间：2021年
• 简介：Livox仿真数据集是基于自动驾驶仿真测试平台生成的点云数据和对应标注，支持3D目标检测和语义分割任务。其中传感器配置了5个激光雷达和1个超远距激光雷达，整个数据集包含了14445帧360°Lidar点云数据，6种目标的3D包围框标注和14种类别的点云语义标注。数据集场景主要为市区宽阔道路场景，包括双向12车道和双向8车道。相应地，该仿真场景中也包含了多种车辆和行人模型，以及更贴近真实场景的交通流模拟。此外，丰富的红绿灯、交通标识牌、隔离物（包括隔离栏杆、绿化带、隔离墩等）、树木建筑等都让整个仿真场景更加贴近实际驾驶路况

• 特征

  • 包含丰富的场景建模，更贴近真实场景的交通流模拟
  • 14445帧360°点云数据
  • 6种目标的3D包围框和目标追踪ID标注
  • 14种类别的点云语义标注

51WORLD

• 发布方：51WORLD
• 下载地址：https://gitee.com/OpenSimOne
• 官网地址：https://www.51aes.com/
• 发布时间：2020年
• 简介：51WORLD虚拟标注数据是基于其自研的自动驾驶仿真测试平台51Sim-One生成及标注。该平台集静态和动态数据导入、传感器仿真、动力学仿真、可视化、测试与回放、虚拟数据集生成，在环测试等为一体。功能模块覆盖自动驾驶仿真测试的全流程，兼具规模，高精度和高真实感，并可自动完成多传感器原始数据（图像和点云）和真值得同步输出

• 特征

  • 涵盖了常见的摄像头仿真数据集，还有激光雷达仿真数据集
  • 包含了对于自动驾驶系统有挑战性的极限工况、复杂道路、天气条件等
  • 全自动标注

OPV2V

• 发布方：UCLA
• 下载地址：https://mobility-lab.seas.ucla.edu/opv2v/
• 论文地址：https://arxiv.org/pdf/2109.07644.pdf
• 发布时间：2022年
• 简介：该数据集是第一个用于车对车感知的大规模开放模拟数据集。包含了70多个有趣的场景，11464个帧和232913个有注释的三维车辆边界框，收集自CARLA的8个城镇和洛杉矶卡尔弗城的一个数字城镇。作者构建了一个全面的基准，共有16个实现的模型，以评估几种信息融合策略（即早期、后期和中间融合）与最先进的激光雷达检测算法。此外，作者还提出了一个新的关注性中间融合管道，以汇总来自多个连接车辆的信息

• 特征

  • 共有73个不同的场景，每个场景有多辆自动驾驶汽车和趋近真实的交通流出现
  • 囊括了6种道路类型，9个不同的城市
  • 包含1.2万张点云图，4.8万张RGB图像，23万个标注好的3D检测框

参考

• https://github.com/daohu527/awesome-self-driving-car
• https://zhuanlan.zhihu.com/p/54377777
• https://www.zhihu.com/column/c_1449072889304076288

本文由 Chakhsu Lau 创作，采用 知识共享署名4.0 国际许可协议进行许可。
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名。