docs/应用实践/开发调试教程/Apollo感知实践/感知模型部署训练/视觉检测与占据栅格模型介绍及教程.md
近些年来，基于纯视觉+BEV的目标检测和占据栅格任务称为自动驾驶的研究热点。2022年提出的BEVFormer网络，使用环视图像作为输入，使用Transformer架构生成BEV特征，完成目标检测任务。占据栅格任务是一种通过预测三维栅格来表达真实世界的任务，如下图所示，栅格代表对应位置被占据，不同颜色代表不同的类别。占据栅格任务可以很好地处理自动驾驶中面临的异形障碍物问题，为此受到广泛的研究。
Apollo 11.0升级了纯视觉模型Apollo-vision-Net，具有如下的特性：
Apollo-vision-Net的整体网络结构如下所示：
我们对Apollo-vision-Net进行了如下优化，显著提升了目标检测、占据栅格的分数以及模型性能：
在Nuscenes数据集上，Apollo-vision-Net目标检测mAP分数超越bevformer-tiny（2022 ECCV） 6.74% ，超越OccNet-R50（2023 ICCV） 2.39%
| 目标检测mAP （val dataset） | 占据栅格miou (OpenOcc val dataset) | |
|---|---|---|
| bevformer-tiny （2022 ECCV） | 25.2% | - |
| OccNet-R50 （2023 ICCV） | - | 19.48% |
| Apollo-vision-Net (ours) | 31.94% （↑ 6.74%） | 21.87% （↑ 2.39%） |
为了进一步验证效果，我们使用百度自动驾驶数据对Apollo-vision-Net进行训练，同时对occ的分辨率进行提升（0.5m0.5m0.5m->0.2m0.2m0.2m）可以看到Apollo-vision-Net可以提供复杂城市道路场景下的准确目标检测和occ检测。
先根据教程安装apollo环境，随后进入容器
bash docker/scripts/dev_start.sh
bash docker/scripts/dev_into.sh
默认在modules/perception/data/models/bev_occ/目录下有apollo官方的onnx文件
编译
bash apollo.sh build_opt_gpu
打开dreamview
bash scripts/bootstrap.sh start_plus
进入容器
aem start
aem enter
安装包
buildtool build --gpu -p park-generic --opt
打开dreamview
aem bootstrap start --plus
通过下面链接可以下载nuscenes record：
选择车型——Nuscenes Occ（包管理环境使用aem profile use nuscenes_occ选择车型）
启动transform dag文件
mainboard -d /apollo/modules/transform/dag/static_transform.dag
启动dag文件
mainboard -d /apollo/modules/perception/camera_detection_occupancy/dag/camera_detection_occupancy_nus.dag
等待模型进行序列化，当终端给出如下日志时表示序列化完成，可进行下面的步骤
bevformer model init success from apollo_bevnet.onnx
播放record包
cyber_recorder play -f fcbccedd61424f1b85dcbf8f897f9754.record
随后就可以在dv上看到目标检测结果
如果要查看occ结果，需要进行如下的步骤：
将配置occ_det_nus.pb.txt中save_occ_result设置为true，同时设置保存路径occ_save_path（默认为data/occ_results）
运行launch文件，随后会在occ_save_path路径下自动保存occ结果
在容器外配置可视化环境
conda create -n occ_vis python=3.7 -y
conda activate occ
pip install numpy
pip install mayavi
将modules/perception/camera_detection_occupancy/tools/occ_vis.py中的occ_path设置为occ_save_path
运行可视化脚本
python modules/perception/camera_detection_occupancy/tools/occ_vis.py
就可以显示occ结果
本部分介绍如何使用nuscenes数据集训练apollo纯视觉模型
创建conda虚拟环境
conda create -n occ python=3.7 -y
conda activate occ
按照 官方教程 安装pytorch
conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=10.2 -c pytorch
安装mmcv-full
pip install mmcv-full==1.4.1
安装mmdet和mmsegmentation
pip install mmdet==2.19.0
pip install mmsegmentation==0.20.0
安装mmdetection3d
git clone https://github.com/open-mmlab/mmdetection3d.git
cd mmdetection3d
git checkout v0.18.1 # Other versions may not be compatible.
python setup.py develop
安装timm
pip install timm
下载代码
git clone https://github.com/ApolloAuto/Apollo-Vision-Net
在 Nuscenes官方网站 下载Nuscenes V1.0数据集，文件组织形式如下所示
├── data/
│ ├── can_bus/
│ ├── nuscenes/
│ │ ├── maps/
│ │ ├── samples/
│ │ ├── sweeps/
│ │ ├── v1.0-test
│ │ ├── v1.0-trainval
生成3d目标检测的pkl文件data/nuscenes/nuscenesinfos_temporal{train,val}.pkl
python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --version v1.0 --canbus ./data
准备3d Occupancy数据，数据集详细信息参考 Scene as Occupancy
下载数据并放入到data文件夹中
| Version | voxel size | Google Drive | Baidu Cloud | Size |
|---|---|---|---|---|
| occ_gt_release_v1_0 | 0.5m | train_val | train_val | ~15G |
解压文件
tar -zxvf occ_gt_release_v1_0.tar.gz
文件格式如下
├── data/
│ ├── occ_gt_release_v1_0/
│ │ ├── train/
│ │ ├── val/
│ │ ├── occ_gt_train.json
│ │ ├── occ_gt_val.json
合并目标检测和occupancy的pkl文件，生成data/occ_gt_release_v1_0/nuscenes_infos_temporal_{train,val}_occ_gt.pkl，下方同时提供了新pkl的下载链接
python tools/create_data_with_occ.py
| Version | Google Drive | Baidu Cloud |
|---|---|---|
| occ_gt_release_v1_0 | train|val | train|val |
最终文件组织形式如下所示
├── data/
│ ├── can_bus/
│ ├── nuscenes/
│ │ ├── maps/
│ │ ├── samples/
│ │ ├── sweeps/
│ │ ├── v1.0-test
│ │ ├── v1.0-trainval
│ │ ├── nuscenes_infos_temporal_train.pkl
│ │ ├── nuscenes_infos_temporal_val.pkl
│ ├── occ_gt_release_v1_0/
│ │ ├── train/
│ │ ├── val/
│ │ ├── occ_gt_train.json
│ │ ├── occ_gt_val.json
│ │ ├── nuscenes_infos_temporal_train_occ_gt.pkl
│ │ ├── nuscenes_infos_temporal_val_occ_gt.pkl
训练模型的命令
./tools/dist_train.sh ./projects/configs/bevformer/bev_tiny_det_occ_apollo.py 8
./tools/dist_test.sh ./projects/configs/bevformer/bev_tiny_det_occ_apollo.py ./path/to/ckpts.pth 4
根据 教程 安装mayavi
可视化occ结果
python tools/occ_visualization/visualize_occ_gt.py
本部分介绍如何将训练好的模型导出为onnx格式，并部署到apollo工程中
创建conda虚拟环境
conda create -n apollo-onnx python=3.7 -y
conda activate apollo-onnx
下载代码
git clone https://github.com/ApolloAuto/Apollo-Vision-Net-Deployment.git
cd Apollo-Vision-Net-Deployment
PROJECT_DIR=$(pwd)
准备nuScenes数据集
cd ${PROJECT_DIR}/data
ln -s /path/to/nuscenes nuscenes
ln -s /path/to/can_bus can_bus
文件组织如下所示
${PROJECT_DIR}/data/.
├── can_bus
│ ├── scene-0001_meta.json
│ ├── scene-0001_ms_imu.json
│ ├── scene-0001_pose.json
│ └── ...
└── nuscenes
├── maps
├── samples
├── sweeps
└── v1.0-trainval
安装 CUDA-11.6/cuDNN-8.6.0/TensorRT-8.5.1.7
安装PyTorch和TorchVision
pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 torchaudio==0.12.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116
安装MMCV-full
git clone https://github.com/open-mmlab/mmcv.git
cd mmcv
git checkout v1.5.0
pip install -r requirements/optional.txt
MMCV_WITH_OPS=1 pip install -e .
安装MMDetection
git clone https://github.com/open-mmlab/mmdetection.git
cd mmdetection
git checkout v2.25.1
pip install -v -e .# "-v" means verbose, or more output# "-e" means installing a project in editable mode,# thus any local modifications made to the code will take effect without reinstallation.
安装MMDeploy
git clone [email protected]:open-mmlab/mmdeploy.git
cd mmdeploy
git checkout v0.10.0
git clone [email protected]:NVIDIA/cub.git third_party/cub
cd third_party/cub
git checkout c3cceac115
# go back to third_party directory and git clone pybind11cd ..
git clone [email protected]:pybind/pybind11.git pybind11
cd pybind11
git checkout 70a58c5
编译Tensorrt（确保cmake version >= 3.14.0 gcc version >= 7）
export MMDEPLOY_DIR=/the/root/path/of/MMDeploy
export TENSORRT_DIR=/the/path/of/tensorrt
export CUDNN_DIR=/the/path/of/cuda
export LD_LIBRARY_PATH=$TENSORRT_DIR/lib:$LD_LIBRARY_PATHexport LD_LIBRARY_PATH=$CUDNN_DIR/lib64:$LD_LIBRARY_PATHcd${MMDEPLOY_DIR}
mkdir -p build
cd build
cmake -DCMAKE_CXX_COMPILER=g++-7 -DMMDEPLOY_TARGET_BACKENDS=trt -DTENSORRT_DIR=${TENSORRT_DIR} -DCUDNN_DIR=${CUDNN_DIR} ..
make -j$(nproc)
make install
安装MMDeploy
cd ${MMDEPLOY_DIR}
pip install -v -e .# "-v" means verbose, or more output# "-e" means installing a project in editable mode,# thus any local modifications made to the code will take effect without reinstallation.
安装依赖
cd ${PROJECT_DIR}
pip install -r requirements.txt
【可选】安装Custom TensorRT Plugins（CUDA>=11.4, SM version>=7.5）
cd ${PROJECT_DIR}/TensorRT/build
cmake .. -DCMAKE_TENSORRT_PATH=/path/to/TensorRT
make -j$(nproc)
make install
安装MMDetection3D算子
cd ${PROJECT_DIR}/third_party/bev_mmdet3d
python setup.py build develop
运行下面的命令，提供pth文件，生成onnx文件
python tools/pth2onnx.py configs/apollo_bev/bev_tiny_det_occ_apollo_trt.py path_pth --opset_version 13 --cuda
根据教程安装apollo环境，随后进入容器
bash docker/scripts/dev_into.sh
如果要替换为自己训练的onnx文件，则需要替换掉目录下的onnx文件
sudo rm -rf modules/perception/data/models/apollo_bevnet_onnx/*
sudo cp your-own-onnx modules/perception/data/models/apollo_bevnet_onnx/
随后根据第三部分的教程运行纯视觉模型即可