|
@: n2 r% ^/ F! w: U5 ~5 m 原标题：汇总教程 | 视觉/激光/多传感器融合SLAM，三维重建，运动规划，从入门到进阶！
/ U7 ~: O" q0 K3 h5 G% {* T- q& y; H% H! U
计算机视觉life”，选择“星标” " J( ^7 B2 ~- a0 P9 y7 r- u
快速获得最新干货
+ V7 a: c, K+ e( W" U0 ^ 背景介绍
& K9 L+ E( y6 u" }" V+ V 这两年 自动驾驶领域非常火热，发生了一轮又一轮的融资， 图森未来在美股上市，被称为“全球自动驾驶第一股”。 大疆创新正式推出旗下智能驾驶业务品牌“大疆车载”，华为、小米也纷纷下场。近日，自动驾驶干线物流企业千挂科技完成2亿元Pre-A轮融资，MINIEYE完成D轮累计8亿融资。。。 ' T: z$ d! J' j" n& _# ^0 [9 N
在 增强现实（AR）领域， Facebook已经从社交网络公司改名为元宇宙公司Meta，字节跳动重金收购AR/VR头显公司Pico，腾讯、阿里也纷纷入场，连罗永浩也告别了社交平台，将在AR领域再次创业，不知道是AR领域的明灯还是Ming灯。。。 ' I2 H' y, t0 s/ {+ x! D% i' ?
在 机器人领域， 扫地机器人公司 石头科技上市， 物流机器人极智嘉在筹备IPO， 清洁机器人公司 高仙完成B+轮1亿美元融资。。。 4 d/ x. C: e' F) X% O) ?
在自动驾驶、无人机、增强现实、机器人导航等领域的技术栈中，即时 定位和建图（SLAM）是其中的核心技术之一。 SLAM中所涉及到的传感器有 相机、激光雷达、IMU、GPS、轮速计等，面对不同的平台和传感器配置，如何选择适合自己的技术方案呢？ + U7 m4 g4 e; n' I4 L' g, \ h
视觉SLAM基础 , {5 A4 u: D0 ^ n/ o; N' }
ORB-SLAM2是业内最知名、应用最广泛的视觉SLAM开源代码之一。它有如下优点： 1 w+ ?# a1 @1 G# \' R; E/ W
t& I7 r- G+ g, ]" C4 _0 a
支持 单目，双目和RGB-D相机的完整开源SLAM方案，能够实现 地图重用、回环检测和重新定位的功能。
2 i0 A& p9 j) w4 | 支持轻量级定位模式，可以达到零漂移，此时不使用局部建图和回环检测的线程，可以用视觉里程计来跟踪未建图区域。 ' @# ? A* `. `. n; r) p# A
采用ORB特征，具有旋转不变性、光照不变性、尺度不变性，匹配速度快，适合实时应用。无论是在 室内的小型手持设备，还是到 工厂环境的无人机和城市里驾驶的汽车，ORB-SLAM2都能够在CPU上进行实时工作。
, Q! {( [0 Y, s4 y& G/ n 跟踪、局部地图、闭环、重定位等所有的任务都采用相同的ORB特征，使得系统内数据交互更高效、稳定可靠。
6 \/ {) C; N! N0 P( D4 } 单目初始化和应用场景解耦，不管是平面还是非平面场景，都可以自动 初始化，无需人工干预。 " u' {' ~- b8 H7 g! N& J
地图点和关键帧创建比较宽松，但后续会进行严格筛选，剔除冗余关键帧和误差大的地图点，增加建图过程的弹性，在 大旋转、快速运动、纹理不足等恶劣情况下可以提高跟踪的鲁棒性。
8 Z Z8 l' d! ], _ 采用共视图，使得跟踪和建图控制在局部共视区域，与全局地图大小无关，可以 在大场景下运行。
$ G- n. z" G: \/ }0 w4 q8 G F; _* f 使用本质图（Essential Graph）来优化位姿实现回环检测，耗时少精度高 。
! s2 I: f8 J% p. H1 \) [, @ 相比于直接法，可以用于宽基线特征匹配，更适合于 对深度精度要求较高的场景，比如三维重建。 + B! ^8 A: U ? Y" J! j& y
定位精度高，可达厘米级，是特征点法SLAM的经典代表作品。 : V6 q2 t. R2 }1 W- T m5 i# A2 ?9 R
代码可读性强，包含很多工程化技巧，非常实用。
9 Q$ `/ F1 }; ]1 I6 q. J- s0 ~8 Z# x3 E- w7 y
ORB-SLAM2 用于室内三维重建
: `4 T: G- s8 `$ W5 ?0 | ORB-SLAM2详细注释的代码持续更新，网址： " ~) p/ y& `6 g, l! u: ^' }
https://github.com/electech6/ORB_SLAM2_detailed_comments
9 z9 g' ~" Y6 b; l7 ] Y C; i 视觉惯性SLAM技术
5 l3 W# p) m0 a1 j Q' g ORB-SLAM3是在ORB-SLAM2的基础上开发的视觉惯性SLAM技术，于2020年7月发布。它在定位精度和效果上几乎碾压了同类的开源算法，受到极大关注。 ! Q/ }+ r% e, Y1 p( q5 l
它有如下特点： + s/ c) b% ?+ U+ c
1、 第一个可以运行视觉、视觉惯性和多地图，支持单目、双目和RGB-D相机，且支持针孔和鱼眼镜头模型的SLAM系统。
3 y+ T+ J8 h' n: D/ w% x. t8 n 2、该算法可以在不同大小，室内和室外环境中鲁棒、实时的运行，精度上相比于以前的方法提升了2~5倍。
0 \. U( l3 P: s5 B6 ?8 I/ G+ `) W 3、 多地图系统可以让系统在视觉信息缺乏的场景下长时间运行。比如当跟踪丢失的时候，它会重新建立新的地图，并在重新访问之前的地图时，无缝地与之前的地图合并。
; I" g% { u8 U* x 4、实验结果证明，双目惯性模式下，该算法在无人机数据集EuRoC上可以达到平均3.6cm的定位精度，在手持设备快速移动的室内数据集TUM-VI上达到了9mm的定位精度。
$ q, A: g8 `: U! K& Y7 X8 ^ 从室内到室外，丝滑闭环 : q! s, ?* c6 i; L
全网最详细ORB-SLAM3代码注释地址：
0 W2 K9 A2 M8 A! f& J' O" @ https://github.com/electech6/ORB_SLAM3_detailed_comments
; r; Q; e1 t0 [4 W( R/ C- z/ C VINS-Mono/Fusion 系统教程 9 h) P1 n+ [- ~$ A) R9 x% a3 s
VINS即Visual-Inertial navigation Systems，是视觉惯性导航系统的统称，不过我们平时所说的一般是指VINS-Mono/Fusion。 香港科技大学飞行机器人实验室（沈邵劼团队）在2018年开源了VINS-Mono算法。第一作者秦通（2019华为天才少年），该论文获2018年机器人顶级期刊IEEE Transactions on Robotics最佳论文奖。它用一个单目相机+惯性测量单元（Inertial Measurement Unit，简称IMU）实现了紧耦合的视觉和惯性联合状态估计，在保证高精度里程计效果的同时，还可以同时估计出传感器外参，IMU零偏以及传感器时延。2019年该团队开源了VINS-Mono的升级版VINS-Fusion，它支持多种视觉惯性传感器类型，包括单目+IMU，双目+IMU，以及纯双目。VINS-Mono和VINS-Fusion在当年一骑绝尘， 是非常经典且优秀的VIO框架。
8 r# {5 F# b0 d0 x+ {1 N3 w; d 以下是VINS-Fusion在汽车SLAM上的效果： " W/ |7 q( [, _& P* v' G
以下是讲师详细注释的 代码地址：
! s* K/ x9 c$ z9 v) i/ l+ L& v https://github.com/xieqi1/VINS-Mono-noted
* J* m3 Z [. H) i; l, V" h7 z https://github.com/xieqi1/VINS-Fusion-noted " _, s3 s* @1 E/ c
基于LiDAR的多传感器融合技术 ! |: I- C/ G9 V0 p: F1 p6 e2 V
多传感器融合SLAM是自动驾驶、智能机器人中的核心技术。 目前工业界用的主流多传感器融合SLAM框架包括LOAM/A-LOAM、LeGO-LOAM、LIO-SAM等。
* {, d' X3 i+ f) T& d$ b+ R* c0 e9 o9 @3 f2 j
LOAM是Ji Zhang早期开源的多线LiDAR SLAM算法。该代码可读性很差，作者后来将其闭源。 9 ^; f9 E! [1 A2 E( d$ V
A-LOAM是港科大秦通博士（VINS-Mono一作）在LOAM原有代码基础上，使用Ceres-solver和Eigen库对其进行重构和优化，在保持原有算法原理的基础上，使其可读性大大增加，作为入门多线激光slam最好选择。 % Z/ K- a- A. G
LeGO-LOAM 是Tixiao Shan在原有LOAM基础上，做了一些改进包括:1、对前端里程计的前量化改造，提取地面点更适配水平安装的LiDAR; 2、使用SLAM中的Keyframe概念以及回环检测位姿图优化的方式对后端进行重构。 6 |% Y: o" k$ H* M- V1 X( _
' E p, j0 N4 H+ h9 Q( I& y2 G: c; f; p* Q6 @( U
LIO-SAM 是Tixiao Shan在LeGO-LOAM的扩展，添加了IMU预积分因子和GPS因子：前端使用紧耦合的IMU融合方式，替代原有的帧间里程计，使得前端更轻量；后端沿用LeGO-LOAM，在此基础上融入了GPS观测。同时前端后端相互耦合，提高系统精度。
* u# t f8 k9 B9 J8 t4 I K: M! p9 ]& ]! C0 d$ h; Y" r
LIO-SAM 的效果
' n" \( T* A2 G" G% f: J7 Z6 Q1 J! Q
LVI-SAM是Tixiao Shan 2021年最新的开源工作，他将LIO-SAM和VINS-Mono进行了结合，是一个通过平滑和建图实现激光雷达-视觉-惯性里程计的紧耦合框架，由两个紧耦合子系统组成：一个视觉惯性系统VIS和一个激光雷达惯性系统LIS。当两个子系统中的一个发生故障时，系统也可以发挥作用，这增加了它在无纹理和无特征环境中的鲁棒性
9 y& d i4 X8 c7 w# S3 |3 o+ r c4 {+ W1 O3 A( V
独家注释代码 . H# f" F% ^2 M( K; c9 E
https://github.com/xieqi1/a-loam-noted 1 T& H/ C' h0 J" V* g% ~
https://github.com/xieqi1/lio-sam-noted 8 ?- x; ~! r4 Q9 U2 ?, r
https://github.com/electech6/LVI-SAM_detailed_comments * I, U. r& }8 C2 w8 u
激光SLAM技术 ! P. s1 Y) i! R$ R
Cartographer是Google推出的一套基于图优化的激光SLAM算法，它同时支持2D和3D激光SLAM，可以跨平台使用，支持Laser、IMU、Odemetry、GPS等多种传感器配置。该算法可以实现实时定位和建图。 / ]- g+ g! c; y' N; N$ j2 U" R
Cartographer建图过程 3 t6 ?. p B" m2 A/ ?
Cartographer建立的栅格地图可以达到5cm的精度，该算法广泛应用于服务机器人、扫地机器人、仓储机器人、自动驾驶等领域，是最优秀的激光SLAM框架之一。
% |6 ^( ]* \6 z" v6 w- i9 X Cartographer做了超详细源码注释
& K' o& L- s3 C, Y$ Y Y/ Y https://github.com/xiangli0608/cartographer_detailed_comments_ws . T5 G$ K/ X$ E1 h* H0 ^
机器人运动规划
: w' t0 E1 I* D4 z 运动规划和SLAM什么关系？ 0 i* G a3 B3 f( [) v- p' D0 I4 D7 R# D
其实在企业里，SLAM算法工程师、运动规划工程师通常是 相对独立的岗位，SLAM技术通常可以得到稀疏的定位地图，结合后处理可以得到稠密的三维点云地图。此时我们需要用一定的规则将其转化为 栅格化地图，机器人在这个 地图的基础上进行运动规划（导航）。SLAM和运动规划是自主机器人的两个核心技术。
z v: p6 i, x* Q% f* H# ^ 简单来说，解决机器人导航问题一般被称为运动规划，就是让机器人可以自主根据传感器获取外部环境信息，在当前环境中找到一条适合机器人行走的最佳路径。这不是一个简单的工作，因为地图可能发生变化，其他运动的物体也是必须要绕过的障碍物，所以常常需要更改自己的规划，如何在这种复杂的环境下高效率地实现最佳路径，就是运动规划的使命。 5 y1 c$ k& K1 `: ?3 u" `: Q
运动规划在移动机器人的应用 # K b4 y% { o7 i; h
独家注释代码
; T. @5 `3 ?8 M- B https://github.com/felderstehost/ros-navigation-noetic
0 b( z% I+ I" A1 ^ 视觉几何三维重建技术
3 w- A+ G) K b$ f* I' r1 r- f; E, ?
三维重建是指用相机拍摄真实世界的物体、场景，并通过计算机视觉技术进行处理，从而得到物体的三维模型。英文术语：3D Reconstruction。 5 Q. y9 S6 e; \1 \. i3 S
涉及的主要技术有：多视图立体几何、深度图估计、点云处理、网格重建和优化、纹理贴图、马尔科夫随机场、图割等。
0 Y" G, E4 ^# B' B4 [0 g5 n 是增强现实（AR）、混合现实（MR）、机器人导航、自动驾驶等领域的核心技术之一。 三维重建结果
; L" @4 z3 S, `! }. d) @! A# ]2 `3 A' D' Z+ F$ m N9 K
全网最详细的代码注释地址：
; X5 c. @( e! H3 C4 n1 h- \3 k https://github.com/electech6/openMVS_comments
$ M8 a$ t+ V; \+ v2 W) s 深度学习三维重建技术框架 : |8 _ o# f% f- o
传统的重建方法是使用光度一致性等来计算稠密的三维信息。虽然这些方法在理想的Lambertian场景下，精度已经很高。但也有一些常见的局限性，例如 弱纹理，高反光和重复纹理等，使得 重建困难或重建的结果不完整。因此，传统三维重建方法在重建的完整性等方面仍有很大的改进空间。
2 s8 t2 ~7 w: M9 X% q 近年来深度学习在三维重建上取得了很大的成功。基于学习的方法可以引入比如 镜面先验和反射先验等全局语义信息，使匹配更加鲁棒，从而解决传统方法无法克服的难题。因此掌握基于深度学习的三维重建前沿算法非常重要。另外，在这个大数据时代，深度学习已经是大家必须掌握的技能，传统视觉算法已经很难有新的突破，各个领域都在朝深度学习方向研究，近几年各大视觉会议论文都是基于深度学习来实现三维重建，各个大厂招聘也越来越看重深度学习三维重建方法。
, f$ l8 C9 C; Y2 t( k C++编程入门到进阶 % @8 F1 r, A6 i6 N
很多初学SLAM的小伙伴都有个疑问：号称宇宙第一语言的Python，简单好用，包又多，功能又强大，为啥SLAM算法里很少使用呢？ 4 X \2 Y, j5 S: J; _& D7 H4 U
SLAM知识星球嘉宾刘国庆在知乎做了回答 ' `6 f: d1 g' g j0 @
这里再补充几点： . v& @; d N! P' b7 f
/ Z* j( ?& x$ |5 y K$ d6 q
C++具有 极高的性能和运行效率，很多语言都是在C/C++基础上封装的，比如Python。就这一点足以秒杀众多的高级语言。 / \8 u: n; z" A, c0 M4 F) y2 m
C++发展了三十多年一直是编程常青树，一直使用，一直在发展，C++岗位需求会 越来越旺盛，只增不减。
0 H& X) z8 o3 B; P5 ` C++能够 操控底层，非常适合 和硬件打交道。
0 B+ s# W* l2 J. c% K* n: @! r& D
; `9 f( w7 g: T! w, ] 很多小伙伴都是机械、自动化、通信等非计算机专业，也没有经历过系统的C++训练，而在具体的项目中，比如SLAM算法框架中，通常的代码并不是我们在书上看到的那样简单直白。很多同学在学习SLAM的过程中感觉C++是一座难以跨越的大山， 学习过程漫长而痛苦，项目开发遇到bug也不会调试，书看完了代码还是不会写，代码一改就错，一错就懵。
8 i0 n2 U1 l2 X% C# i 相机标定技术框架 ! {/ B1 h4 t1 ^2 [
: d) F5 U9 ?" m! b4 j+ ~7 X/ F 相机标定是指借助专用的标志物（如棋盘格）来估计相机的图像传感器参数（内参、外参）和镜头参数（畸变系数）。 % q/ D4 \3 Z$ n. ^! [, o, ^3 V( d* e
它是一种计算相机二维图像和三维世界相对映射关系的一种方法。标定相机过程涉及相机成像模型、多视图几何、非线性优化等知识。 2 }- H4 c! b% y3 Z$ e. n
相机标定是三维视觉的基础。 ( |- T7 ?. z- ?. R( e& \3 o* n* Q
' K+ p6 S# X* I; U& G! U 毫不夸张的说， 相机标定是一切三维视觉的基础。它广泛应用于 双目视觉、手眼机械臂、机器人定位建图、图像拼接、三维重建等场景。 / ~) E1 @" p/ q
全国最大的SLAM开发者社区
/ y* l% A" ]; G! _7 M4 y SLAM社区：一个人啃SLAM，难受到自闭，硬顶还是放弃？ 7 d6 n7 ]" J/ N/ ]+ Z' T8 a
在我们的SLAM和3D视觉知识星球里，很多刚入门的同学问的最多的问题我总结了一下，主要有：
7 O3 h( e4 r& h1 c
" I5 L/ W9 D; J. X4 L 机械/自动化/数学等非计算机专业能否转SLAM？
* _: e8 C8 ~2 M' V0 W. a! E 导师不懂，但要我做SLAM方向，怎么入门？
* X0 e3 e6 f+ I* l 编程基础差，数学不好，能否学习SLAM？
! z9 j0 A b$ N1 x 看完十四讲，下面怎么学习？
7 a! n. n4 u& `$ X* Q 需要学哪些开源框架？怎么学习呢？
6 y3 D9 u6 P7 Q- x( d& m$ T! m 编译遇到很多问题，怎么解决？
# B- Y$ A. R& l4 v$ a! m' q 只有自己一个人学SLAM，没人讨论好痛苦，怎么办？4 U% e9 u) y8 }0 W- q" z0 M
想要和小伙伴组队系统的学习，有资源吗？
- w4 N9 Z- w0 @, D
. [; q2 ~/ A+ h6 d& F- Q& n 我们建立了全 国最棒的SLAM和三维视觉交流社区，包括 小白入门图文/视频教程、学习过程疑难点解答、每日最新论文/开源代码/数据集分享、在线学习小组、笔试面试题、实习/校招/社招岗位推荐、星主直播交流等。
6 x) n" ~7 q& S) H7 [* A) D7 Q' X5 c1 Q9 x; h3 l
2018年创立、 3500+会员、 6100+主题分享、 9500+问答评论、 130+教学视频 D3 R3 t5 L6 z4 B! H4 j
教程：图文视频教程、涉及 代码调试/OpenCV/PCL/G2O/Ceres/视觉SLAM十四讲/LVISAM/R3LIVE . W& Q1 C) J% ^/ a- a
资讯：每日论文分享、行业资讯汇总、每周汇总、精华汇总 - w+ c2 J7 ~* `
直播：每月至少3次，涵盖学习经验/求职面试/实习历程/行业介绍 0 X8 R5 t6 d ~5 n
活动：学习小组、行业资源对接、会员激励、有偿招募助教/兼职
0 }2 H$ n% i- Y; R& Z7 [+ ` 求职：内推职位、SLAM面试题、笔试练习 - j0 g' z2 x3 i0 x3 t: ~
…… . k2 @3 h+ {. S5 `
* f ~/ v' a7 H: t 
- F1 E# P5 z7 | `. g4 A 独家重磅课程官网：cvlife.net ' x. @2 Q. R/ a) T) u; [
1、SLAM社区： 一个人啃SLAM，难受到自闭，硬顶还是放弃？ : Y* t9 }( v- V6 W7 r5 f* J# a
2、C++实战： 为啥SLAM代码都用C++不用Python？ 6 h( {6 ]! d2 `- U1 S
3、多传感器融合SLAM 激光雷达-视觉-IMU多传感器融合方案！
" Q! V5 K$ i5 H! ^% O# Q" Y& c. | 4、VIO灭霸：VIO天花板ORB-SLAM3第2期上线！（单/双目/RGBD+鱼眼+IMU+多地图+闭环）
! n* F! n6 j: u" v 5、视觉SLAM基础： 刚看完《视觉SLAM十四讲》，下一步该硬扛哪个SLAM框架 ？ 7 }1 G9 i* [* I' s( E9 v5 N
6、机器人导航运动规划： 机器人核心技术运动规划：让机器人想去哪就去哪！ $ l) c$ O( R4 u' L9 b( J* ~8 a7 i
7、详解Cartographer： 谷歌开源的激光SLAM算法Cartographer为什么这么牛X？
- f- [* U* t$ J 8、深度学习三维重建 总共60讲全部上线！详解深度学习三维重建网络
+ F: a" H* V# ~: ~ 9、三维视觉基础 详解视觉深度估计算法（单/双目/RGB-D+特征匹配+极线矫正+代码实战） & a1 a% |2 K( b* m( R6 T/ o
10、 VINS:Mono+Fusion SLAM面试官：看你简历上写精通VINS，麻烦现场手推一下预积分！ " x6 p6 g B/ R( P2 Y
11、图像三维重建课程：视觉几何三维重建教程（第2期）：稠密重建，曲面重建，点云融合，纹理贴图
* a& C4 ]: [0 U6 w) k 12、系统全面的相机标定课程：单目/鱼眼/双目/阵列 相机标定：原理与实战 返回搜狐，查看更多 " |9 w) ?: v! k+ p7 a! N3 i( \
" h, N! S K, S5 f( L 责任编辑：
4 S$ H1 y t" g' n* C6 p
; E" e! J7 P* j$ B. O
5 Q" m8 V* k# b& L
8 _1 Z) G, ?0 `' H& M2 F; ^ Y2 A4 N6 _
| 
