激光雷达感知参数开发实践

激光雷达和相机是目前自动驾驶中最重要的 2 个传感器，由于激光雷达测距准确，因此检测出的障碍物的精度普遍会比相机高。

激光雷达（Laser Radar，简称 LiDAR）是一种通过激光束来探测目标位置、反射强度等特征量的传感器。它由激光发射机、光学接收机、转台和信息处理系统等组成。激光器将电脉冲变成光脉冲发射出去，光接收机再把从目标反射回来的光脉冲还原成电脉冲，送到显示器。

激光雷达相比传统雷达，具有高分辨率、高精度、抗有源干扰能力强等优点。它的工作原理是利用激光的波长和脉冲宽度，通过测量光的传播时间来精确测量距离。激光雷达的发射系统口径很小，可接收区域窄，有意发射的激光干扰信号进入接收机的概率极低。

根据扫描系统的差异，激光雷达可以分为机械式、混合固态（转镜式、棱镜式、MEMS振镜）、固态（FLASH、OPA）等。根据测距方法的差异，就可以分为 TOF 激光雷达、FMCW 激光雷达。

激光雷达感知整体框架

Apollo 激光雷达的感知由以下几个组件构成，它们一起工作共同实现了激光雷达感知功能。

在介绍各个模块之前，我们首先需要知道激光雷达感知模块的输入和输出，以及它的工作原理。

激光雷达感知模块的输入：

• 激光雷达点云。由激光雷达传感器生成，通过扫描周围环境得到一系列的点和反射强度值。订阅消息的通道/apollo/sensor/lidar16/compensator/PointCloud2，

• 坐标转换。检测到的障碍物在激光雷达坐标系，需要转换到世界坐标系下，因此需要激光雷达到世界坐标的转换关系。订阅消息的通道/tf和/tf_static。

激光雷达感知模块的输出：

• 障碍物信息。通过点云检测到的障碍物信息，包括目标的类别，大小，速度以及追踪 ID 等，用于后续的规划模块进行路径规划。发布消息的通道为/apollo/perception/obstacles。

接下来我们详细介绍这几个模块。

点云预处理（pointcloud_preprocess）

点云预处理是激光雷达感知的第一个组件，它的主要功能如下：

• 过滤无效点，即过滤坐标为 nan 的点

• 过滤高度超过 z_threshold 的点。比如过滤高度大于 6 米的点。

• 通过自车的点，考虑到激光雷达安装位置，有可能扫描到自己，因此过滤自身的点，避免误当作障碍物。

高精度地图过滤（pointcloud_map_based_roi）

过滤 ROI 之外的点云。

感兴趣区域 (ROI) 指定可行驶区域，包括从高精地图检索到的路面和路口。 HDMap ROI 过滤器处理 ROI 外部的 lidar 点，去除背景物体，例如道路周围的建筑物和树木。剩下的就是 ROI 中的点云以供后续处理。

地面检测（pointcloud_ground_detection）

查找地面，查找地面的目的主要是为了后续做点云分割。

3D 目标检测（lidar_detection）

通过深度学习算法，对上述处理过的点云进行目标检测，最后得到当前场景下的行人、车辆和非机动车辆的位置和速度信息等。

目前 Apollo 一共支持以下 4 种激光雷达目标检测模型。

• center_point_detection ：是一种基于点云的 anchor-free 的三维目标检测算法，该模型在计算效率和准确度上有一定的优势。其核心思想是通过预测物体的中心点来进行目标检测和位置回归，而不需要预先产生大量候选框（anchor）。

• cnn_segmentation ：自研模型。

• mask_pillars_detection ：自研模型，基于 point_pillars 做了一些改进。

• point_pillars_detection ：是一种用于自动驾驶的3D目标检测模型，它基于点云数据实现。该模型通过将点云数据转化为柱形稀疏表示，然后结合 2D CNN 和 3D SSD 来进行目标检测。

目前支持的在线推理框架有：

• pytorch

• paddle

• onnx

• TensorRT

已经开放训练代码的模型是 center_point 激光雷达检测模型，后续会讲到如何进行模型训练和部署。

检测结果过滤（lidar_detection_filter）

根据对象属性、车道线、ROI 等过滤模型检测出的前景和背景障碍物。

目标追踪（lidar_tracking）

对检测到的障碍物进行追踪，从而获取到目标的速度和追踪 ID，用于后续进行目标轨迹预测。

消息转发（msg_adapter）

msg 适配器模块用于在感知模块内部转发消息。

内部消息的通道名称通常有一个内部字段“inner”。 这些消息仅在线程之间传递，而不是在进程之间传递，因此您无法使用 cyber_monitor 来查看它们。因为这些消息一般都比较大，比如图像、点云数据，为了避免复制、序列化和反序列化，我们采用直接传递对象的方法，所以这些消息只能在线程内传递。

为了方便调试，可以使用 msg 适配器模块转发消息，这样就可以通过 cyber_monitor 查看。而且单纯的激光雷达感知不需要进行传感器融合，因此需要通过 msg_adapter 模块进行消息转发输出，如果有多传感器融合模块，则需要启动激光雷达、相机和毫米波雷达模块加上融合模块才能输出最终的感知结果。

激光雷达感知参数介绍

接下来我们会介绍第一种感知开发模式：修改激光雷达感知模块参数。

参数目录结构

首先介绍各个组件的配置目录，以激光雷达检测模块为例

├── lidar_detection
    ├── conf            // 组件配置文件
    ├── dag             // 组件dag文件
    ├── data            // 功能配置文件
    ├── detector
    │   ├── center_point_detection
    │   ├── cnn_segmentation
    │   ├── mask_pillars_detection
    │   └── point_pillars_detection
    ├── interface
    ├── proto
    ├── lidar_detection_component.cc
    ├── lidar_detection_component.h
    ├── cyberfile.xml   // 包配置文件
    ├── README.md
    └── BUILD

公共配置目录，多个组件的公共配置放到modules/perception/data路径下。

modules/perception/data
├── BUILD
├── conf    // 感知公共配置，例如一些单例
├── cyberfile.xml
├── flag    // 感知模块所有的gflags命令行传入，用于dag
├── models  // 模型存放路径
└── params  // 传感器内外参

全局配置

gflag配置：modules/perception/common/perception_gflags.h

modules/perception/common/onboard/common_flags/common_flags.h：

点云预处理配置（pointcloud_preprocess）

pointcloud_preprocessor配置：

modules/perception/pointcloud_preprocess/data/pointcloud_preprocessor.pb.txt

高精度地图过滤（pointcloud_map_based_roi）

hdmap_roi_filter配置：

modules/perception/pointcloud_map_based_roi/data/hdmap_roi_filter.pb.txt

map_manager配置：

modules/perception/pointcloud_map_based_roi/data/map_manager.pb.txt

地面检测（pointcloud_ground_detection）

spatio_temporal_ground_detector配置文件： modules/perception/pointcloud_ground_detection/data/spatio_temporal_ground_detector.pb.txt

3D目标检测（lidar_detection）

此模块配置文件路径： modules/perception/lidar_detection/conf， modules/perception/lidar_detection/data，

ModelInfo 配置，文件路径：modules/perception/common/proto/model_info.proto。

PointCloudPreProcess：

PointCloudPostProcess：

cnnseg 配置 modules/perception/lidar_detection/detector/cnn_segmentation/proto/model_param.proto：

centerpoint配置：

modules/perception/lidar_detection/data/center_point_param.pb.txt

检测结果过滤（lidar_detection_filter）

background_filter 配置： modules/perception/lidar_detection_filter/data/background_filter.pb.txt

roi_boundary_filter配置：

modules/perception/lidar_detection_filter/data/roi_boundary_filter.pb.txt

目标追踪（lidar_tracking）

fused_classifer

fused_classifier 配置文件：

modules/perception/lidar_tracking/data/fused_classifier/fused_classifier.pb.txt

ccrf_type_fusion配置文件：

tracker

mlf_engine 配置文件： modules/perception/lidar_tracking/data/tracking/mlf_engine.pb.txt

mlf_track_object_matcher 配置文件： modules/perception/lidar_tracking/data/tracking/mlf_track_object_matcher.conf

mlf_track_object_distance 配置文件： modules/perception/lidar_tracking/data/tracking/mlf_track_object_distance.conf

mlf_tracker配置文件： modules/perception/lidar_tracking/data/tracking/mlf_tracker.conf。

mlf_motion_filter配置文件： modules/perception/lidar_tracking/data/tracking/mlf_motion_filter.conf。

mlf_motion_refiner配置文件： modules/perception/lidar_tracking/data/tracking/mlf_motion_refiner.conf。

mlf_shape_filter配置文件： modules/perception/lidar_tracking/data/tracking/mlf_shape_filter.conf。

消息转发（msg_adapter）

modules/perception/msg_adapter/common/msg_adapter_gflags.h

激光雷达感知参数开发模式

1. 进入Docker环境

# 进入容器
aem enter

# 下载安装依赖包： 会拉取安装core目录下的cyberfile.xml里面所有的依赖包
buildtool build --gpu

2. 启动Dreamview

aem bootstrap start --plus

注意：plus 参数指的是启动 dreamview+，如需启动老版本 dreamview，去掉 --plus 参数即可。

3. 查看感知模型

通过 amodel 命令查看当前系统中已经安装的感知模型。

amodel list

4. 修改参数

1. 修改模型输出置信度

   通过调整模型输出置信度，学习如何调整模型的检测结果输出。模型的置信度越高，检测的结果越准确，但召回率会变低，模型的置信度变低，召回率变高，准确率变低，因此要平衡准确率和召回率，来达到一个比较好的效果。

   首先检查/apollo/modules/perception/lidar_detection/conf/lidar_detection_config.pb.txt中的配置是否为 CenterPointDetection：

   bashCopy

   plugin_param {
      name: "CenterPointDetection"
      config_path: "perception/lidar_detection/data"
      config_file: "center_point_param.pb.txt"
    }
   

   然后在/apollo/modules/perception/lidar_detection/data/center_point_param.pb.txt修改score_threshold。

   bashCopy

       postprocess {
     score_threshold: 0.25      // 检测结果置信度
     num_output_box_feature: 7
     bottom_enlarge_height: 0.1  // 0.25 -> 0.1
     top_enlarge_height: 0.25
     width_enlarge_value: 0
     length_enlarge_value: 0
   }
   

2. 修改 ROI 范围

   修改 ROI 参数可以通过规则过滤不需要关注的障碍物，避免对自动驾驶汽车的干扰。

   找到/apollo/modules/perception/lidar_detection_filter/data/roi_boundary_filter.pb.txt文件，修改参数

   bashCopy

   distance_to_boundary_threshold: 0.0
   confidence_threshold: 0.0
   cross_roi_threshold: 0.6
   inside_threshold: -1.0
   

5. 启动lidar感知程序

选择相应车型配置

启动 transform 模块

启动 lidar 感知模块

下载并播放感知包，在dreamview+左下角点击resource manger，下载sensorrgb数据包，下载完成后选择sensorrgb数据包点击播放。

dreamview+ 查看 lidar 检测结果：