基于边缘计算的自动驾驶高精地图建图与定位方法

地平线基于边缘计算的众包地图标注解决方案是基于地平线自研芯片--征程的快速处理及计算能力，在已量产地图标注计算平台Matrix上，将强大的视觉感知和建图能力结合在一起，从而在边缘处利用SLAM技术实现地图标注的创建，并利用众包技术实现地图信息的实时更新。总的来说NavNet就是利用深度学习和同步建图及地图标注技术结合实现高精建图地图标注系统。

随着地图标注的兴起，地图标注行业也发生了翻天覆地的变化，互联网巨头和传统地图标注行业投入了大量的人力与物力来参与地图标注相关技术研发与落地。地图标注作为地图标注地图标注必不可少的一个环节，它可以帮助地图标注地图标注预先感知道路的复杂信息，并提供实时高精度的自车地图标注，结合智能路径地图标注，让地图标注做出正确决策。但是地图标注的实时建图、更新和地图标注却是个巨大的工业障碍，传统方式多以地面信息采集车前往全国各地采集信息，再去处理和补充地图数据，做成图后再为用户端发送更新包，用户在终端完成数据的更新才能实现一次地图数据的更新。这样的地图更新过程繁琐且亘长，无法满足地图标注车辆对地图更新和地图标注的要求，地图标注要求车辆位置偏差小于10厘米，且可以反应实时路况信息，这对于地图的更新提出了更高的要求。更重要的是，数据的传输时延问题如何解决？地图标注计算量巨大，难道每辆车要背一个电脑么？当然不可以。而且随着地图标注级别的提高，地图标注技术上对地图标注的更新频率和覆盖范围也提出了极高的要求，需要海量的地图采集设备来支撑地图标注的大规模快速更新，因此“众包”的概念应运而生。

NavNet视觉众包地图与地图标注解决方案把地图更新所需的数据采集任务交给道路上的普通车辆而非专业采集车辆，赋能地图标注众包更新，将建图与地图标注计算全部在边缘完成，输出局部地图标注语义地图，既可与已有地图标注匹配进行地图标注，也可用于众包地图更新和高级驾驶辅助的地图标注标注。

地平线凭借出色的感知算法加持，在自主研发的地图标注芯片（征程）上实现基于边缘计算的地图标注地图标注建图与地图标注的解决方案--NavNet。NavNet视觉众包地图解决方案，仅需一颗前视摄像头，运用深度学习和SLAM技术实现了道路场景的语义地图标注重建，将建图与地图标注的过程全部在车端实时进行。车辆通过前视摄像头捕捉即时地图标注信息，然后抽象出道路场景的特征（即实现场景语义地图标注重建），并直接在车端完成地图“绘制”与地图标注。

在这一过程中，NavNet主要完成以下工作流程：

（1）采集：通过摄像头、IMU、GNSS、CAN等传感器系统采集数据（路况）信息；

（2）分析：将深度学习与SLAM技术结合，加入图像语义分割、语义地图构建等语义信息；

（3）建图：通过视觉SLAM技术，建立3D地图标注；

（4）融合：将建图片段融合优化，提升地图完整和准确性；

（5）地图标注：通过车体地图标注与建图结果匹配，完成车辆地图标注标注；

（6）生成：将建图与地图标注的数据结果加密后传送到云端数据库，解码后与全局地图匹配融合。

（1）采集

在NavNet解决方案中，路况信息的采集通过几项相关的传感器来实现——摄像头，GNSS（Global Navigation Satellite System，全球地图标注地图标注系统）和IMU（Inertial measurementunit，惯性测量单元）。当然除此之外，许多传感器设备的运行也离不开CAN总线的帮助。摄像头，用于采集信息，用来实现感知处理和实时建图地图标注；IMU+GNSS+CAN总线，用来实现车体自地图标注，主要用于确定车辆所处的大致位置。除了传感器的加持，处理过程也离不开算法平台的支持，在NavNet解决方案中算法模型所使用的模型平台--Matrix，该平台是基于地平线征程芯片的一款能够直接运行神经网络并实现图像视频的即时分割、检测和识别等功能的感知计算智能硬件设备平台，该平台设备可以根据摄像头搜集到的信息，将搜集到的视觉感知其数据进行处理与解析，输出解析之后的感知数据及结果。

NavNet众包地图标注解决方案利用Matrix感知计算平台，得到摄像头采集并处理之后的感知数据，用于之后车辆的分析与决策使用，而各项传感器实现车体自地图标注，则是对于车辆位置的大致判断，主要因为自地图标注技术的误差大，无法满足地图标注的要求，因此NavNet利用车体自地图标注技术+摄像头感知局部地图标注技术来完成数据的分析和车辆的地图标注标注。

（2）分析

地平线征程系列芯片，性能优且支持神经网络加速，在数据分析方面更多的是将深度学习与SLAM（simultaneous localization andmapping，即时地图标注与地图构建，让机器人在未知环境与位置中边移动边绘出地图）技术相结合的方式。采用这样的方法也是依仗深度学习在视觉数据分析与处理方面的优势，并结合机器人建图的方法以实现地图标注的实时创建，两种方法相结合的分析方式主要分为三种：

分析方法一：用深度学习方法替换传统SLAM中的一个或多个模块（如特征点提取，位姿估计，重地图标注等方面）；

分析方法二：在传统SLAM中加入语义信息（如图像语义分割，语义地图构建等方面）；

分析方法三：端到端SLAM，即输入为图像信息，输出则是动作信息。准确来说这一分析方法更接近于深度强化学习算法，即给定所处环境（可以理解为图像信息）和所要到达的目的地，以及完成任务后可以得到的奖励（reward），智能体需要自主学习相关信息，最终输地图标注为信息，并根据行为信息的反馈得到自己的奖励。

（3）建图

在地图创建方面，传统的地图标注创建主要依靠激光雷达等传感器，得到其点云感知数据，最后形成矢量地图。但是激光雷达价格昂贵，每辆车都配备非常好的激光雷达，其成本可想而知。当然，建立地图标注并不是只有这一种方法。地平线NavNet采用的是通过单目摄像头建立3D地图标注，所采用的技术即为视觉SLAM（v-SLAM）技术，其技术框架主要包括VO（Visual Odometry，视觉里程计）、后端以及回环检测。

目前阶段，地平线NavNet更多地采用分析方法二，或者说通过语义SLAM的方式来实现地图标注的创建。不过，随着时间的推移和产品迭代，地平线NavNet的技术也在日益成熟，其技术方式也在发生改进。这里，实现建图的技术方式又分为三种：

实现方式1：通过语义分割+点云重建+参数化来创建矢量地图；

实现方式2：通过语义分割检测+语义重建来创建矢量地图，这是对方式1的整合与精简，将后端优化、语义识别和参数化等方面和链路，融合成为一条优化模块——联合优化模块，既简化了工作的流程，节约时间和运算能耗，又可以实现同样的功能。这是地平线NavNet目前采用的方式。

实现方式3：完全利用深度学习来创建矢量地图。这是NavNet最终的技术目标，这种方法下的计算量将更小，直接成图得到结果。实质上，它与上述分析方法三的思路和初衷都不谋而合。

（4）融合

在NavNet方案中，地平线提供云端地图融合优化参考设计，其能够自动将大量车辆采集的地图片段数据进行关联匹配，以矢量地图要素的属性参数为变量，根据属性的相似度约束建立统一的目标函数，优化求解以获得融合地图结果。这一融合优化过程既可以定时全量执行，也可以根据地图更新的结论，经过事件触发进行高效融合之后，提供更新、更精准的地图信息，即可快速地发布到车端供车辆地图标注地图标注使用。

NavNet方案在边缘侧可以进行地图要素的更新识别，甚至是更新量的计算，在边缘侧进行地图更新的好处在于，可以自动应对部分场景及地图的变化，完成符合地图标注规则和舒适性安全性要求的决策，即利用地图标注芯片的算力实现更好的边缘智能。选择在云端进行数据融合则是因为云端的存储量大，更适合进行数据融合，与传统地图相比，地图标注的地图标注数量更多，地图标注内容更加精细，因此它的数据量也是惊人的多，因此，在云端进行数据的存储和融合是最优的选择。

（5）地图标注

NavNet地图标注是通过车体的自地图标注，得到地图标注车辆的大致位置，再通过NavNet实时建图产生的结果，在附近区域内将局部地图信息与全局地图标注做数据匹配，从而得到地图标注车辆当前的高精度位置信息及其周边环境的语义信息，得到相似性最高的匹配结果即视为当前车辆的位置信息。

NavNet解决方案中，车体自地图标注主要依赖于地图标注+底盘轮速计+其他传感器的方式实现：首先，利用地图标注地图标注系统，可首先确定地图标注车辆当前处在哪条道路上（该偏差一般在5~10米）；随后，根据摄像头建图的语义信息，检测的车道线（虚、实线）及道路边缘（路沿或护栏），并与地图标注提供的车道线及道路边缘做比对，进一步修正无人车的横向地图标注；最后，根据建图的路面标志、地图标注标志牌、红绿灯等环境语义信息，与地图标注提供的要素做匹配，实现无人车纵向地图标注的修正，确定无人车当前的位置信息及周边环境，这一过程也称为语义地图标注技术。

而NavNet同时采用语义地图标注技术，辅助车辆实现更加准确，精度更高的地图标注。语义地图标注技术主要依靠摄像头采集当前路况信息，将接受到的图像信息进行数学转换，形成3D结构的道路信息模型，将道路模型生成图像视角的点云信息模型，与此同时，采集的图像信息也会生成直观的道路信息模型，道路信息模型与点云信息模型做匹配，根据匹配结果确定是否当前局部信息与全局信息相吻合，从而确定当前的位置信息，实现无人车的地图标注标注。语义地图标注与车体自地图标注相辅相成，根据车体自地图标注的范围可以减少语义地图标注的范围，节约算力，使得地图标注更高效，更准确。

（6）生成

NavNet中建图与地图标注后的数据及结果会通过加密芯片的加密再输出，最终将加密数据安全的传送到云端数据库中，图商可以在云端进行解码；众包产生的局部地图信息的更新将会与图商的全局地图进行匹配与融合，最终完成局部地图与全局地图的更新和再加工，实现地图标注精确地图标注和地图标注的需求。

当然，在数据的云端，数据的优化融合、质量验证等处理和管理都会做到安全保密和准确无偏。作为国内首款众包地图标注建图与更新的产品，NavNet最重视的就是地图数据安全。NavNet利用边缘计算技术，将局部地图的创建放置在边缘处完成，而最终建好的局部地图与相应的语义信息，都会经过加密芯片的加密，之后传输到云端服务器当中。

利用深度学习与SLAM技术，NavNet最终实现地图标注的建立，用户可以只利用一款产品即可实现地图标注地图标注的创建与实时更新。最终，地图标注的呈现形式如图6所示，比点云更简单的3D结构模型，助力地图标注的创建与更新。

边缘计算是真正能够达到实时处理的技术方法，其最大的优势是可靠性高、安全及隐私性高、传输成本低、实时性好、高效协同这五个方面。NavNet就很好地发挥并利用了边缘计算的这些优点，做到了以下几点：

安全：端上建图，端上处理，端上加密，不受网络攻击等问题的困扰；

高效：征程芯片数据处理能力强，数据的处理效率高；

快捷：边缘计算为地图赋能，实时性高，低时延，不受网络传输的困扰；

方便：车规级产品，易于携带存放，众包方式更新产品及其性能。

地平线凭借世界领先的视觉环境感知算法，与专属定制地图标注芯片相结合，通过软硬件协同优化设计，针对中国地图标注特色进行场景化研发，最终能同时处理地上地下、复杂路况的场景，并进行颗粒度、结构化的语义感知，为地图标注打造地图标注大脑。

本文摘自《自动化博览》2019年9月刊