本篇綜述是本人與知乎的一位大佬博主華神共同完成的。在這里感謝華神的幫助，同時希望本篇能為在SLAM道路上探索的同僚們盡些綿薄之力，歡迎各位一同探討和進步。

　　首先，本人認為需要思考一個問題：為什么要做SLAM？SLAM技術可以解決什么問題？簡單的引入。 這個問題的回答可以是：1.大部分的路徑規(guī)劃需要基礎地圖；2.定位時，為消除IMU、Wheel Odometry等里程計模型的“誤差累加”特性引入觀測參考；3. 提供一個全局表征（frame、origin）的參考，等。 再回到SLAM概念的定義：SLAM（Simultaneous Localization and Ming）是以定位和建圖兩大技術為目標的一個研究領域。目前主流的slam技術為激光slam(基于激光雷達)和視覺slam(基于單/雙目攝像頭)，實現(xiàn)上主要分為基于濾波 （Filter-Based） 的SLAM和基于圖優(yōu)化（Graph-Based）的SLAM。歸結其本質(zhì)，其實就是——State Estimation in Robotics

　　傳感器數(shù)據(jù)預處理（無效值去除、序列檢查、點云遮擋點與平行點去除、坐標系處理，etc）；

　　歸結基于濾波的定位算法的核心技術，其實就是貝葉斯濾波或者其衍生算法。整體上的流程大抵都是基于上一時刻的狀態(tài)量，通過控制量輸入和運動方程的推演獲取預測的狀態(tài)量，再由相關傳感器的觀測對預測進行融合“補償”。

　　歸結基于優(yōu)化的定位算法的核心技術，其實就是最小二乘，但應用在SLAM技術中，其關鍵的地方在于：如何設計與建立SLAM的problem structure：

　　也就是上述的目標函數(shù)是由哪些部分構成的？殘差項有哪些？還是以cartographer為例，殘差項可以包含關鍵幀之間的odom約束，關鍵幀與submap之間的約束（intra和inter），landmark引入產(chǎn)生的約束，等等。以上一起由通過不同的殘差項權重整合在一起，共同組成后端優(yōu)化的目標函數(shù)。 那么除去這些呢，還可以引入哪些約束來優(yōu)化整體的優(yōu)化結構？或者又有什么方式可以優(yōu)化優(yōu)化的處理過程？

　　▲ lio-sam中的因子圖結構 目前常見的應用在SLAM系統(tǒng)中的優(yōu)化庫主要有以下幾種：

　　各個優(yōu)化庫的使用和特點就不在此處進行說明了，感興趣的小伙伴可以自行網(wǎng)上查閱資料~

　　而與柵格地圖特性相對應的是基于TSDF（Truncated Signed Distance Function）原理生成的柵格地圖，TSDF生成的地圖最大的特性就是生成的地圖邊界是可以保證單像素級別的，而基于概率更新的柵格地圖的邊界往往都會由多個像素“混合”在一起。

　　簡介：基于粒子濾波框架的激光SLAM，RBpf粒子濾波算法，即將定位和建圖過程分離，先進行定位再進行建圖，結合里程計和激光信息，每個粒子都攜帶一個地圖，構建小場景地圖所需的計算量較小，精度較高。但在高分辨率建圖時，在靜止狀態(tài)下更新不好，存在震蕩并noise過多。

　　簡介：基于圖優(yōu)化的SLAM，源自谷歌，代碼優(yōu)美，是非常完整的激光slam系統(tǒng)，包含相對魯棒的前端，基于submap和node約束獨立的pose graph后端及各類評測工具。模塊化、系統(tǒng)化、工程化程度很高， 封裝很完善?？蓪⑵湟暈樯壈姹镜腒arto的頂配豪華版本，搭載了傳感器同步、位姿外推器、激光數(shù)據(jù)預處理（去畸變、重復點云刪除）功能，前端幀匹配上融合使用了karto的暴力匹配csm和hector的基于LM的梯度優(yōu)化方法匹配，由于引入了submap的概念，后端回環(huán)檢測上使用分支定界的方法進行快速搜索，后端優(yōu)化過程基于SPA完成。同時carto還開放了landmark、GPS等數(shù)據(jù)融合的接口，提供了地圖續(xù)掃和定位的功能。Github鏈接：相關論文：Hess, Wolfgang , et al. “Real-Time Loop Closure in 2D LIDAR SLAM.” 2016 IEEE International Conference on Robotics and Automation (ICRA) IEEE, 2016.

　　簡介：經(jīng)典制作，長期霸榜kitti odometry門類第一，也衍生很多相關SLAM算法，如A-LOAM、LeGO-LOAM等。其主要思想是通過兩個算法：一個高頻激光里程計進行低精度的運動估計，即使用激光雷達做里程計計算兩次掃描之間的位姿變換；另一個是執(zhí)行低頻但是高精度的建圖與校正里程計，利用多次掃描的結果構建地圖，細化位姿軌跡。在點云匹配與特征提取時，由于scan-to-scan匹配精度低但速度快， map-to-map匹配精度高但是速度慢，創(chuàng)新性使用scan-to-map來兼具精度與速度，這種思路給后續(xù)很多基于激光里程計或多傳感器融合框架提供思路。原本的LOAM沒有IMU輔助，不帶有回環(huán)檢測，因而不可避免引起漂移。沿著此思路，產(chǎn)生了很多算法如LeGO-LOAM， LINS, LIO-Ming, LIO-SAM等。Github鏈接：LOAM中文注解版：相關論文：Ji Zhang and Sanjiv Singh. “LOAM: Lidar Odometry and Ming in Real-time.” Proceedings of Robotics: Science and Systems Conference, 2014.

　　簡介：這是LeGO-LOAM作者新作，通過平滑和匹配的緊密耦合激光雷達慣性SLAM框架。LIO-SAM在因子圖（factor graph）上方制定了激光雷達慣性里程表，從而可以將不同來源的大量相對和絕對測量值（包括回路閉合）作為因子合并到系統(tǒng)中，通過慣性測量單元（IMU）預積分的估計運動使點云偏斜，并為激光雷達里程計優(yōu)化提供了初始預測。為了確保實時高性能，將之前的激光雷達掃描邊緣化以進行姿勢優(yōu)化，而不是將激光雷達掃描與全局地圖匹配。選擇性地引入關鍵幀以及以有效的滑動窗口將新的關鍵幀注冊到固定大小的先驗“子關鍵幀”集合中，在局部范圍而不是全局范圍內(nèi)進行掃描匹配。 算法可以添加不同的模塊，組合不同的方案。當同時禁用GPS和閉環(huán)檢測時，此方法稱為LIO-odom，它僅利用IMU預積分和激光雷達里程計因子；當添加GPS因子時，則將此方法稱為LIO-GPS；若使用IMU、激光雷達里程計、GPS、回環(huán)檢測時則稱之為LIO-SAM方法。Github鏈接：相關論文：T. Shan and B. Englot, “LIO-SAM: Tightly-coupled Lidar Inertial Odometry via Smoothing and Ming,”IEEE/RSJ International Conference on Intelligent Robots and Systems”,2020.性能介紹：在論文作者錄制的數(shù)據(jù)集上，對比了LOAM、LIOM與自身幾種組合方案的建圖效果如下左圖所示，也比較了幾種算法在平移誤差及處理單幀數(shù)據(jù)時所耗時間如右圖所示，由此可見LIO-SAM處理速度較LOAM提高很多，精度上也有一定提高。

　　簡介：這是一個基于圖優(yōu)化的3D激光SLAM框架，主要由激光里程計、回環(huán)檢測以及后端圖優(yōu)化構成，同時融合了IMU、GPS以及地面檢測的信息作為圖的額外約束。算法首先讀入激光雷達的點云數(shù)據(jù)，然后將原始的點云數(shù)據(jù)進行預濾波，經(jīng)過濾波后的數(shù)據(jù)分別給到點云匹配里程計以及地面檢測節(jié)點，兩個節(jié)點分別計算連續(xù)兩幀的相對運動和檢測到的地面的參數(shù)，并將這兩種消息送到hdl_graph_slam節(jié)點進行位姿圖(pose graph)的更新以及回環(huán)檢測，并發(fā)布地圖的點云數(shù)據(jù)。hdl_graph_slam在資源消耗、代碼復雜度等方面具有優(yōu)勢，且?guī)в卸ㄎ荒K，右圖顯示了帶GPS的室外建圖結果。Github鏈接：相關論文：Kenji Koide, Jun Miura, and Emanuele Menegatti, “A Portable 3D LIDAR-based System for Long-term and Wide-area People Behavior Measurement”, Advanced Robotic Systems, 2019

　　原理介紹：這是一種新的基于語義信息的激光雷達SLAM系統(tǒng)，可以更好地解決真實環(huán)境中的定位與建圖問題。該系統(tǒng)通過語義分割激光雷達點云來獲取點云級的密集語義信息，并將該語義信息集成到激光雷達SLAM中來提高激光雷達的定位與建圖精度。通過基于深度學習的卷積神經(jīng)網(wǎng)絡，可以十分高效地在激光雷達“范圍圖（range image）”上進行語義分割，并對整個激光雷達點云進行語義標記。通過結合幾何深度信息，進一步提升語義分割的精度?；趲дZ義標記的激光雷達點云，此方法能夠構建帶有語義信息且全局一致的密集“面元（surfel）”語義地圖?；谠撜Z義地圖，也能夠可靠地過濾移除動態(tài)物體，而且還可以通過語義約束來進一步提高投影匹配ICP的位姿估計精度。Github鏈接：相關論文：Chen, Xieyuanli & Milioto, Andres & Palazzolo, Emanuele & Giguère, Philippe & Behley, Jens & Stachniss, Cyrill. SuMa++: Efficient LiDAR-based Semantic SLAM. 4530-4537. (IROS 2019).

　　以視覺傳感器作為主要感知方式的SLAM稱為視覺SLAM 。按照建圖稀疏程度來分，視覺SLAM技術可以分為稀疏SLAM、半稠密SLAM和稠密SLAM。雖然同為SLAM系統(tǒng)，但它們的側重點并不完全一樣。 SLAM 系統(tǒng)最初的設想是為機器人提供在未知環(huán)境中探索時的定位和導航能力，其核心在于實時定位。以定位為目的，需要建立周圍環(huán)境的路標點地圖，進而確定機器人相對路標點的位置，這里的路標點地圖即稀疏地圖，地圖服務于定位。 但隨著算法和算力的進步，SLAM逐漸被用于對環(huán)境的重建，也即把所有看到的部分都完整的重建出來，此時，SLAM所建立的地圖必須是稠密的，而SLAM系統(tǒng)的首要任務也從定位轉變?yōu)榱私h(huán)境的精確稠密地圖。這種首要任務的差異最終會反映在SLAM系統(tǒng)的技術方案上，稠密SLAM系統(tǒng)對精度的評價也從“定位精度”轉變?yōu)椤敖▓D精度”。此外，相比于稀疏SLAM系統(tǒng)，稠密SLAM的建圖部分要消耗大得多的算力，通常都需要GPU加速來達到實時性。

　　LSD-SLAM 即 Large-Scale Direct SLAM，兼容單目相機和雙目相機。LSD-SLAM是一種基于光流跟蹤的直接法SLAM，但是實現(xiàn)了半稠密建圖，建圖規(guī)模大，可以在線實時運行。作者有創(chuàng)見地提出了像素梯度與直接法的關系，并利用這種關系實現(xiàn)了簡單直接法所無法實現(xiàn)的半稠密重建。作為一種基于關鍵幀的SLAM系統(tǒng)，LSD-SLAM的主要處理流程為：

　　通過直接法對相機位姿進行追蹤，當當前幀所包含的信息與最后一個關鍵幀有足夠差別時，建立新的關鍵幀。

　　對當前關鍵幀的深度信息進行估計，對于雙目LSD-SLAM，首先根據(jù)左右圖像的視差估計深度，然后結合不同時序的幀優(yōu)化深度。

　　LSD-SLAM 在 CPU 上實現(xiàn)了半稠密場景的重建，這在當時（2014）是非常有創(chuàng)見的工作，是作者（TUM 計算機視覺組）多年對直接法進行研究的成果。LSD-SLAM 的半稠密追蹤使用了一些精妙的手段，來保證追蹤的實時性與穩(wěn)定性。 另一方面，由于 LSD-SLAM 使用了直接法進行跟蹤，所以它既有直接法的優(yōu)點（對特征缺失區(qū)域不敏感），也繼承了直接法的缺點。例如，LSD-SLAM 對相機內(nèi)參和曝光非常敏感，并且在相機快速運動時容易丟失。

　　ORB-SLAM 系列是最為經(jīng)典的SLAM 方案之一，ORB-SLAM2 發(fā)表于2017年，是ORB-SLAM的升級版，同時支持單目、雙目、RGB-D相機。ORB-SLAM2的算法流程與ORB-SLAM幾乎相同，共包含三個模塊（線程），如下所示。

　　需要注意的是，重定位和回環(huán)檢測都是基于DBoW2詞袋實現(xiàn)的，而詞袋需要預先建立好，通?？梢酝ㄟ^一個大型圖片數(shù)據(jù)集離線建立起詞袋，數(shù)據(jù)集數(shù)據(jù)越廣泛，建立的詞袋越實用。

　　在前作的基礎上，西班牙Zaragoza大學于2020年7月最新開源了ORB-SLAM3的論文和源碼。ORB-SLAM3支持的設備和功能更多，支持單目、雙目、RGB-D相機，針孔、魚眼，視覺慣性里程計，多地圖SLAM等，幾乎全覆蓋了視覺SLAM各個分支?？傮w來說，ORB-SLAM3 基本框架、代碼結構都是ORB-SLAM2的延伸，但是加入了很多新的方法，實現(xiàn)了更好的效果，體現(xiàn)在以下三個方面：

　　構建了基于特征的高度集成視覺-慣導SLAM系統(tǒng)，更加魯棒，適應于室內(nèi)/外的大/小場景，精度提升2~5倍。

　　是一個多地圖系統(tǒng)，VO丟失時，會建立新的地圖，當找回場景后，會與之前的地圖自動融合。

　　系統(tǒng)魯棒性與state-of-the-art相當，但精度更高，在無人機數(shù)據(jù)集上平均精度3.6cm，室內(nèi)數(shù)據(jù)集平均精度9mm。

　　DSM 方案由西班牙的學者（作者之一同為ORB系列的作者）于2019年發(fā)表，這是一個基于直接法的完整單目SLAM系統(tǒng)。直接法SLAM系統(tǒng)通常采用光度誤差進行BA優(yōu)化，但直接法不能依賴自身解決相同場景的 reobservation問題和相同點的融合問題（因此直接法的回環(huán)檢測多依賴特征點解決，如LSD-SLAM）；DSM則解決了這一問題，是首個完全基于直接法實現(xiàn)回環(huán)檢測和地圖重用的SLAM系統(tǒng)，并在 EuRoC 數(shù)據(jù)集上取得了直接法SLAM中最高的精度。 DSM設計了獨特的“局部窗口選擇策略”來選擇共視點，通過 coarse-to-fine 的策略來實現(xiàn) reobservation，并以此實現(xiàn)回環(huán)檢測；在優(yōu)化方面，仍然基于光度誤差做BA優(yōu)化。

　　基于以上特點，DSM 具有較快的運行速度（無需計算特征點描述子），精度很高；除了直接法自身的缺點之外，其缺點還在于單目無法恢復出尺度信息。

　　VINS系列由港科大沈劭劼課題組發(fā)表和公開，其中VINS-Fusion 是繼 VINS-Mono （單目視覺慣導 SLAM 方案）后的雙目視覺慣導 SLAM 方案，VINS-Fusion 是一種基于優(yōu)化的多傳感器狀態(tài)估計器，可實現(xiàn)自主應用（無人機，無人車， AR / VR）的精確自定位。VINS-Fusion 是 VINS-Mono 的擴展，支持多種視覺慣性傳感器類型（單目相機+ IMU，雙目相機+ IMU，雙目相機-only），但兩者的技術框架是相同的，如下圖所示。其主要技術模塊有：

　　VINS方案本身是基于特征點的，因此只能用于稀疏建圖。VINS的優(yōu)點在于實現(xiàn)了很高的定位精度，這種精度來源于視覺+IMU融合以及緊耦合滑窗優(yōu)化算法。VINS對計算資源的消耗比較小，在普通CPU上既可以實現(xiàn)在線實時運行，適合于對實時性有要求的移動設備。

　　ElasticFusion (2016) 是由帝國理工發(fā)表的一項優(yōu)秀RGB-D SLAM系統(tǒng)，具有稠密建圖、在線實時運行、輕量級等顯著特點。如前文所述，ElasticFusion 以稠密建圖為主要目標（而非定位），建圖的精度和質(zhì)量是主要指標。ElasticFusion 的技術特點如下：

　　基于 RGB-D 的稠密三維重建一般使用網(wǎng)格模型融合點云，ElasticFusion 是為數(shù)不多使用 surfel 模型的方案。

　　ElasticFusion 算法融合了 RGB信息（顏色一致性約束） 和深度信息（ICP 算法）進行位姿估計。

　　ElasticFusion首先根據(jù)RGB-D圖像配準估算位姿，根據(jù)位姿誤差決定進行重定位還是回環(huán)檢測；若存在回環(huán)，則首先優(yōu)化Deformation graph 然后優(yōu)化 surfel地圖；若不存在，則更新和融合全局地圖，并估算當前視角下的模型，用于下一幀圖像配準?？傮w來說，ElasticFusion具有較高的重建精度，在重建房間大小的場景時效果很好；但沒有對代碼做特別的優(yōu)化，在大場景重建時效果不佳。

　　InfiniTAM 是牛津大學于2016年發(fā)表的稠密 SLAM 方案，該方案基于 KinectFusion 和 體素塊哈希表（voxel block hashing）發(fā)展而來。首先，InfiniTAM 方案在建圖部分利用 TSDF 模型（截斷符號距離場）進行建模，只是在建模的時候，不是對整個空間都劃分等大小的網(wǎng)格，而是只在場景表面的周圍劃分網(wǎng)格（voxel blocks），且只為待重建的表面上的Voxel block分配顯存，并使用哈希表這一結構來管理GPU對Voxel block的內(nèi)存分配和數(shù)據(jù)訪問。通過這樣的方法，InfiniTAM 大大減小了稠密建圖對 GPU 的內(nèi)存消耗，提升了算法效率。 InfiniTAM 的 算法流程 如右圖所示，InfiniTAM 系統(tǒng)的前端與KinectFusion較為相似，主要分為三個階段：

　　融合階段：用于將新數(shù)據(jù)集成到現(xiàn)有的3D世界模型當中（更新voxel中存儲的SDF值）；

　　渲染階段：利用光線投影算法(Raycasting)從世界模型中提取與下一個跟蹤步驟相關的模型區(qū)域，用于下一幀的位姿估算；

　　InfiniTAM 是一個完整的稠密SLAM系統(tǒng)，包括前端位姿估計，回環(huán)檢測，重定位，后端優(yōu)化等全部SLAM功能。InfiniTAM使用哈希表來管理體素（voxel），大大節(jié)約了GPU內(nèi)存占用，因此可以構建更大規(guī)模場景的地圖。

　　斯坦福大學2017年提出的BundleFusion技術，被認為可能是目前基于RGB-D相機進行稠密三維重建效果最好的方法。BundleFusion的整體流程是比較清晰的：輸入的color+depth的數(shù)據(jù)流首先需要做幀與幀之間的匹配信息搜索，然后基于“稀疏特征+稠密特征”融合匹配以求得精確位姿變化；把連續(xù)相鄰幀聚合為“幀段”并在幀段內(nèi)做局部位姿優(yōu)化，獲得幀段地圖/Chunk；然后基于“幀段”做全局位姿優(yōu)化，將整體的漂移矯正；融合相鄰Chunk，得到全局位姿和地圖。整個過程持續(xù)動態(tài)更新。

　　【融合匹配】在匹配方面，論文使用的是一種sparse-then-dense的并行全局優(yōu)化方法。也就是說，先使用稀疏的SIFT特征點來進行比較粗糙的配準，因為稀疏特征點本身就可以用來做loop closure檢測和relocalization。然后使用稠密的幾何和光度連續(xù)性進行更加細致的配準。圖1展示了sparse+dense這種方式和單純sparse的對比結果。 【優(yōu)化】在位姿優(yōu)化方面，論文使用了一種分層的 local-to-global 優(yōu)化方法，如圖2所示?？偣卜譃閮蓪樱诘谝粚?，每連續(xù)10幀組成一個chunk，第一幀作為關鍵幀，然后對chunk內(nèi)所有幀做局部位姿優(yōu)化。在第二層，只使用所有的chunk的關鍵幀進行互相關聯(lián)然后進行全局優(yōu)化。通過這種分層處理技巧，一方面可以剝離出關鍵幀，減少存儲和待處理的數(shù)據(jù)；另一方面，分層優(yōu)化方法減少了每次優(yōu)化時的未知量，九游體育保證該方法可擴展到大場景而漂移很小。

　　▲ 稀疏匹配與融合匹配效果對比 BundleFusion 方案在算法上具有明顯的優(yōu)點：

　　使用持續(xù)的local to global分層優(yōu)化，去除了時域跟蹤的依賴。

　　不需要任何顯示的loop closure檢測。因為每一幀都和歷史幀相關，所以其實包含了持續(xù)的隱式的loop closure。

　　支持在GPU上實時魯棒跟蹤，可以在跟蹤失敗時移動到重建成功的地方進行relocalization，匹配上后繼續(xù)跟蹤。

　　實驗表明，BundleFusion的重建效果確實是目前該領域效果最好的方法，下圖是和其他方法的對比，重建優(yōu)勢明顯。

　　BundleFusion 的良好效果除了算法的功勞，還必須有強大硬件算力的支撐。當使用兩塊GPU（GTX Titan X + GTX Titan Black）時，BundleFusion在各大數(shù)據(jù)集上可以達到 36 fps 左右的處理深度；當使用一塊 GTX Titan X 時，處理速度則是 20 fps 左右。也即：目前算法需要兩塊GPU才能實時運行，因此算法的優(yōu)化和加速仍是可改進的地方。

　　在廣場、機場等開闊區(qū)域，即使是多線激光，也只能看到幾圈地面上的點云。僅使用地面點云進行匹配，很可能在水平面上發(fā)生隨機移動。

　　在長隧道、單側墻、橋梁等場地中，激光匹配會存在一個方向上的額外自由度。也就是說，沿著隧道前進時，獲取到的激光點云是一樣的，使得匹配算法無法準確估計這個方向上的運動。類似地，如果機器繞著一個圈柱形物體運動時，也會發(fā)生這種情況。

　　解決思路：建圖算法適當降低激光軌跡的權重，利用其他軌跡（或者數(shù)據(jù)約束）來補償激光的失效。

　　機器人用的柵格地圖，主要表達何處有障礙物，何處是可通行的區(qū)域，此外就沒有了。它具有基礎的導航與定位功能，精度也不錯（厘米級），制作起來十分簡單，基本可以讓機器人自動生成。

　　在室內(nèi)，機器人可以去任意可以通過的地方，不會有太多阻攔，而對于自動駕駛來說，每條路都有對應的交通規(guī)則：有些地方只能靠右行駛，有些地方不能停車，十字路口還有復雜的通行規(guī)則。

　　室內(nèi)機器人可以利用柵格地圖進行導航，但在室外可不能在十字路口上橫沖直撞。所以，在導航層面，室內(nèi)與室外的機器人出現(xiàn)了明顯的區(qū)別。室內(nèi)的導航可以基于柵格來實現(xiàn)諸如A*那樣的算法，但室外基本要依賴事先畫好的車道。

　　而在第一和第三流程階段，回到文章的開頭，其本質(zhì)就是State Estimation in Robotics。而由此進行分析的話，受到一致認可的方向大抵有以下三類：

　　精度：傳感器選型、傳感器布局和傳感器標定，但若相同的傳感器“條件”，精度本質(zhì)上還是由硬件決定了上限；

　　以上內(nèi)容都是經(jīng)過網(wǎng)上各位大佬的經(jīng)驗分享和個人簡單的整理，匯整而成，本人也是十分感激能站在巨人們的肩膀上看整個SLAM技術大體樣貌。望與各位技術同僚共勉，一同在SLAM技術道路上高歌猛進。 審核編輯：黃飛