同步定位和地圖構(gòu)建（SLAM）和深度學(xué)習(xí)（DL）中的經(jīng)典內(nèi)容，都有幾十年的研究歷史。這篇ICCV文章點(diǎn)評(píng)了近十多年來(lái)SLAM領(lǐng)域的典型系統(tǒng)和重量級(jí)專著，并指出了一個(gè)有意思的研究方向，即使用SLAM 助力深度學(xué)習(xí)；因?yàn)榻裉斓腟LAM系統(tǒng)可以用來(lái)生成大規(guī)模數(shù)據(jù)集，而這正是深度卷積神經(jīng)網(wǎng)絡(luò)所需要的。

　　上一屆國(guó)際計(jì)算機(jī)視覺(jué)大會(huì)ICCV，成為了深度學(xué)習(xí)技術(shù)的主場(chǎng)，但在我們宣布卷積神經(jīng)網(wǎng)絡(luò)的全面勝利之前，讓我們先看看計(jì)算機(jī)視覺(jué)的，非學(xué)習(xí)幾何方面的進(jìn)展如何。同步定位與地圖構(gòu)建可以說(shuō)是機(jī)器人學(xué)領(lǐng)域最重要的算法之一，在計(jì)算機(jī)視覺(jué)和機(jī)器人研究社區(qū)完成了一些開(kāi)創(chuàng)性的工作。本文將總結(jié)來(lái)自 ICCV 實(shí)時(shí) SLAM 的未來(lái)研討會(huì)的要點(diǎn)。

　　這篇文章包含了對(duì) SLAM 的簡(jiǎn)要介紹、對(duì)研討會(huì)上講到的事情的詳細(xì)描述（全部七個(gè)演講的總結(jié)）和會(huì)議結(jié)尾處的以深度學(xué)習(xí)為中心的小組討論中的關(guān)鍵信息。

　　視覺(jué) SLAM 算法可以實(shí)時(shí)構(gòu)建世界的 3D 地圖，并同時(shí)追蹤攝像頭（手持式或增強(qiáng)現(xiàn)實(shí)設(shè)備上的頭戴式或安裝在機(jī)器人上）的位置和方向。SLAM 是卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的補(bǔ)充：SLAM 關(guān)注于幾何問(wèn)題而深度學(xué)習(xí)是感知、識(shí)別問(wèn)題的大師。如果你想要一個(gè)能走到你的冰箱面前而不撞到墻壁的機(jī)器人，那就使用 SLAM。如果你想要一個(gè)能識(shí)別冰箱中的物品的機(jī)器人，那就使用卷積神經(jīng)網(wǎng)絡(luò)。

　　SfM/SLAM 基本原理：一個(gè)場(chǎng)景的 3D 結(jié)構(gòu)是根據(jù)點(diǎn)觀察和固有的攝像頭參數(shù)，從攝像頭的估計(jì)的運(yùn)動(dòng)中計(jì)算出來(lái)的.

　　視覺(jué) SLAM 或基于視覺(jué)的 SLAM 是 SLAM 的一種僅使用攝像頭的變體，放棄了昂貴的激光傳感器和慣性測(cè)量單元。單眼 SLAM僅使用單個(gè)攝像頭，而非單眼 SLAM通常使用一個(gè)預(yù)校準(zhǔn)的固定基線的立體相機(jī)套件。SLAM 是計(jì)算機(jī)視覺(jué)領(lǐng)域所謂的幾何方法中最好案例。事實(shí)上，卡內(nèi)基梅隆大學(xué)的機(jī)器人研究所將研究生水平的計(jì)算機(jī)視覺(jué)課程分成了一個(gè)基于學(xué)習(xí)的視覺(jué)方法和一個(gè)單獨(dú)的基于幾何的視覺(jué)方法的課程。

　　運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SfM）和 SLAM 所解決的問(wèn)題非常相似，但 SfM 傳統(tǒng)上是以離線形式進(jìn)行的，而 SLAM 則已經(jīng)慢慢走向了低功耗/實(shí)時(shí)/單 RGB 相機(jī)的運(yùn)行模式。今天許多運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)方面的專家都在為世界上一些最大的科技公司，幫助打造更好的地圖。如果沒(méi)有關(guān)于多視圖幾何、SfM 和 SLAM 的豐富知識(shí)，像谷歌地圖這種成功的地圖產(chǎn)品根本就不可能出現(xiàn)。典型的 SfM 問(wèn)題遵循：給定一個(gè)單個(gè)室外結(jié)構(gòu)（如大劇場(chǎng)/大體育館）的大型照片集合，構(gòu)建該結(jié)構(gòu)的 3D 模型并確定每個(gè)相機(jī)的姿勢(shì)。這個(gè)照片集合以離線形式處理，而且大型結(jié)構(gòu)重建所需時(shí)間從幾小時(shí)到幾天不等。

　　Libceres：一個(gè)非線性最小二乘極小化工具（對(duì)束調(diào)整（bundle adjustment）問(wèn)題很有用）

　　研討會(huì)的組織者之一 Andrew Davison 表示，盡管自動(dòng)駕駛汽車是 SLAM 最重要的應(yīng)用之一，但用于自動(dòng)化載具的 SLAM 應(yīng)該有其自己的研究軌道。（而且正如我們所見(jiàn)，研討會(huì)的展示者中沒(méi)有一個(gè)談到了自動(dòng)駕駛汽車。）在接下來(lái)的許多年里，獨(dú)立于任何一個(gè)圣杯級(jí)的應(yīng)用而繼續(xù)在研究的角度上研究 SLAM 是有意義的。盡管在自動(dòng)化載具方面存在著太多的系統(tǒng)級(jí)細(xì)節(jié)和技巧，但研究級(jí)的 SLAM 系統(tǒng)所需的不過(guò)是一個(gè)網(wǎng)絡(luò)攝像頭、算法知識(shí)和一點(diǎn)辛勞而已。視覺(jué) SLAM 作為一個(gè)研究課題對(duì)數(shù)以千計(jì)的博士生的早期階段要友好得多，他們將首先需要好幾年的使用 SLAM 的實(shí)驗(yàn)室經(jīng)驗(yàn)，然后才能開(kāi)始考慮無(wú)人駕駛汽車等昂貴的機(jī)器人平臺(tái)。

　　現(xiàn)在是時(shí)候正式總結(jié)和評(píng)論實(shí)時(shí) SLAM 的未來(lái)研討會(huì)上的演講了。Andrew Davison 以一個(gè)名叫基于視覺(jué)的 SALM 的十五年的精彩歷史概述開(kāi)篇，他的幻燈片中還有一個(gè)介紹機(jī)器人學(xué)課程的好內(nèi)容。

　　你也許不知道 Andrew 是誰(shuí)，他是倫敦帝國(guó)學(xué)院獨(dú)一無(wú)二的 Andrew Davison 教授。他最知名的成就是其 2003 年的 MonoSLAM 系統(tǒng)，他是第一個(gè)展示如何在單個(gè)攝像頭上構(gòu)建 SLAM 系統(tǒng)的人，而那時(shí)候其他所有人都還認(rèn)為打造 SLAM 系統(tǒng)需要一個(gè)立體的雙目攝像頭套件。最近，他的研究成果已經(jīng)對(duì)戴森（Dyson）等公司的發(fā)展軌跡和他們的機(jī)器人系統(tǒng)的能力產(chǎn)生了影響（如全新的 Dyson360）。

　　我還記得 Davidson 教授曾在 2007 年的 BMVC（英國(guó)機(jī)器視覺(jué)大會(huì)）上給出了一個(gè)視覺(jué) SLAM 教程。讓人驚訝的是，和主要的視覺(jué)大會(huì)上其它機(jī)器學(xué)習(xí)技術(shù)的紛繁成果相比，SLAM 的變化真是非常之少。過(guò)去八年里，對(duì)象識(shí)別已經(jīng)經(jīng)歷了兩三次小型變革，而今天的 SLAM 系統(tǒng)和其八年前的樣子看起來(lái)并沒(méi)有多大不同。了解 SLAM 的進(jìn)展的最好方法是看最成功和最讓人難忘的系統(tǒng)。在 Davidson 的研討會(huì)介紹演講中，他討論了一些過(guò)去 10-15 年里科研界所打造的典范系統(tǒng)：

　　Davison 還提到他正在寫一本關(guān)于機(jī)器人視覺(jué)的新書(shū)，這對(duì)計(jì)算機(jī)視覺(jué)、機(jī)器人和人工智能領(lǐng)域的研究者來(lái)說(shuō)應(yīng)該是一個(gè)激動(dòng)人心的好消息。上一本機(jī)器人視覺(jué)的書(shū)是由 B.K. Horn 寫的（出版于 1986 年），現(xiàn)在也到該更新的時(shí)候了。

　　盡管我很樂(lè)意閱讀一本重在機(jī)器人視覺(jué)原理的巨著，但我個(gè)人希望該書(shū)關(guān)注的是機(jī)器人視覺(jué)的實(shí)用算法，就像 Hartley 和 Zissermann 的杰作《多視圖幾何》或 Thrun、Burgard 和 Fox 所著的《概率機(jī)器人學(xué)》那樣。這本關(guān)于視覺(jué) SLAM 問(wèn)題的書(shū)籍將會(huì)受到所有專注視覺(jué)研究者歡迎。

　　第一個(gè)演講來(lái)自 Christian Kerl，他提出了一種用于估計(jì)連續(xù)時(shí)間軌跡的密集跟蹤方法。其關(guān)鍵觀察結(jié)果發(fā)現(xiàn)：大部分 SLAM 系統(tǒng)都在離散數(shù)目的時(shí)間步驟上估計(jì)攝像頭的位置（要么是相隔幾秒的關(guān)鍵幀，要么是相隔大約 1/25 秒的各個(gè)幀。

　　連續(xù)軌跡 vs 離散時(shí)間點(diǎn) SLAM/SfM 通常使用離散時(shí)間點(diǎn)，但為什么不使用連續(xù)的呢？

　　Kerl 的大部分演講都集中于解決卷簾式快門相機(jī)的危害，而 Kerl 演示的系統(tǒng)還對(duì)建模給予謹(jǐn)慎的關(guān)注并消除了這些卷簾式快門的不利影響。

　　LSD-SLAM （大規(guī)模直接單眼 SLAM）在2014 ECCV 上公開(kāi)，也是我現(xiàn)在最喜歡的 SLAM 系統(tǒng)之一！Jakob Engel 在那里展示了他的系統(tǒng)并向觀眾展示了當(dāng)時(shí)最炫酷的一些 SLAM 可視化。對(duì) SLAM 研究者來(lái)說(shuō)，LSD-SLAM 是一個(gè)非常重要的系統(tǒng)，因?yàn)樗皇褂眠吔腔蚱渌魏伪镜靥匦?。通過(guò)使用一種帶有穩(wěn)健的 Huber 損失的由粗到細(xì)的算法，直接跟蹤可由圖像到圖像對(duì)準(zhǔn)完成。這和那些基于特征的系統(tǒng)非常不同。深度估計(jì)使用了逆深度參數(shù)化（和許多其它系統(tǒng)一樣）并使用了大量或相對(duì)小的基準(zhǔn)圖像對(duì)。該算法并不依賴于圖像特征，而是靠有效地執(zhí)行紋理跟蹤。全局映射是通過(guò)創(chuàng)建和解決姿態(tài)圖形的束調(diào)整優(yōu)化問(wèn)題而執(zhí)行的，而且這所有都是實(shí)時(shí)工作的。這個(gè)方法是半密集的，因?yàn)樗鼉H估計(jì)靠近圖像邊界的像素深度。LSD-SLAM 輸出比傳統(tǒng)的特征更密集，但并不如 Kinect 類型的 RGBD SLAM 那樣完全密集。

　　工作中的 LSD-SLAM：LSD-SLAM 同時(shí)生成一個(gè)攝像頭軌跡和一個(gè)半密集的 3D 場(chǎng)景重建。這種方法實(shí)時(shí)工作，不使用特征點(diǎn)作為圖元，并執(zhí)行直接的圖像到圖像對(duì)準(zhǔn)。

　　Engel 概述了原來(lái)的 LSD-SLAM 系統(tǒng)以及一些新成果，將它們最初的系統(tǒng)擴(kuò)展成更有創(chuàng)造性的應(yīng)用并實(shí)現(xiàn)了更有趣的部署。

　　全方位 LSD-SLAM是 LSD-SLAM 的一種延伸，因觀察到針孔模型不能用于大視場(chǎng)的觀測(cè)而被創(chuàng)造出來(lái)。這項(xiàng)成果提出于 IROS 2015（2015 年智能機(jī)器人和系統(tǒng)國(guó)際大會(huì)）（Caruso 是第一作者），能用于大視場(chǎng)（理想情況下可超過(guò) 180 度）。Engel 的演講很清楚地表示，你可以拿著相機(jī)以芭蕾舞般的動(dòng)作極限旋轉(zhuǎn)在你的辦公室內(nèi)走來(lái)走去。這是窄視場(chǎng) SLAM 最糟糕的應(yīng)用場(chǎng)景之一，但卻在 Omni LSD-SLAM 中效果良好。

　　立體 LSD-SLAM是 LSD-SLAM 的一種用于雙眼攝像頭套件的延伸。這有助于獲得沒(méi)有限制的規(guī)模，而且其初始化是瞬時(shí)的，強(qiáng)烈旋轉(zhuǎn)也不存在問(wèn)題。盡管從學(xué)術(shù)的角度看，單眼 SLAM 是很激動(dòng)人心，但如果你的機(jī)器人是一輛 30,000 美元的車或 10,000 美元的無(wú)人機(jī)原型，你應(yīng)該有足夠的理由使用一套帶有兩個(gè)乃至更多攝像頭的套件。Stereo LSD-SLAM 在 SLAM 基準(zhǔn)上表現(xiàn)出了相當(dāng)強(qiáng)的競(jìng)爭(zhēng)力。

　　Stereo LSD-SLAM 相當(dāng)實(shí)用，能優(yōu)化 SE(3) 中的姿態(tài)圖形，并包含了對(duì)自動(dòng)曝光的校正。自動(dòng)曝光校正的目標(biāo)是讓誤差函數(shù)相對(duì)于仿射光照變化而不變。顏色空間仿射轉(zhuǎn)換的基本參數(shù)是在匹配過(guò)程中估算出來(lái)的，但也被扔掉以估計(jì)圖像到圖像變換中的錯(cuò)誤。Engel 在演講中稱，離群值（outliers）（通常是由過(guò)度曝光的圖像像素造成的）往往會(huì)帶來(lái)問(wèn)題，需要很仔細(xì)才能處理它們的影響。

　　在他后面的演示中，Engel 讓我們一窺了關(guān)于立體和慣性傳感器的整合新研究。為了了解詳情，你只能跟蹤 arXiv 上的更新或向 Usenko/Engel 本人了解。在應(yīng)用方面，Engel 的演示中包含了由 LSD-SLAM 驅(qū)動(dòng)的自動(dòng)化四軸無(wú)人機(jī)的更新視頻。其飛行一開(kāi)始是上下運(yùn)動(dòng)的，以獲得對(duì)尺寸的估計(jì)，然后又使用了自由空間的三維測(cè)繪（octomap）以估計(jì)自由空間，從而讓該四軸無(wú)人機(jī)可以在空間中為自己導(dǎo)航。

　　LSD-SLAM 的故事也是基于特征 vs 直接方法的故事，Engel 給了辯論雙方公正的待遇?；谔卣鞯姆椒ū辉O(shè)計(jì)用在 Harris 那樣的邊角之上，而直接方法則是用整個(gè)圖像進(jìn)行對(duì)準(zhǔn)?；谔卣鞯姆椒ǜ欤ń刂?2015 年），但直接方法在并行處理上效果很好。離群值可以通過(guò)追溯的方法從基于特征的系統(tǒng)中移除，而直接方法在離群值處理上沒(méi)那么靈活。卷簾式快門是直接方法的一個(gè)更大的問(wèn)題，而且使用全局快門或卷簾式快門模型是有意義的?；谔卣鞯姆椒ㄐ枰褂貌煌暾男畔⑦M(jìn)行決策，而直接方法可以使用更多信息。基于特征的方法不需要很好的初始化，而直接方法在初始化上需要更巧妙的技巧。對(duì)直接方法的研究只有 4 年，稀疏方法則有 20 多年的歷史了。Engel 樂(lè)觀地認(rèn)為直接方法未來(lái)將上升成為頂級(jí)方法，我也這么想。

　　在 Engel 演講最后，Davison 問(wèn)到了語(yǔ)義分割方面的問(wèn)題，而 Engel 不知道語(yǔ)義分割是否可以在半密集的接近圖像邊界的數(shù)據(jù)上直接執(zhí)行。但是，我個(gè)人的看法是，有更好的方法可將語(yǔ)義分割應(yīng)用到 LSD 類型的 SLAM 系統(tǒng)上。半密集 SLAM 可以專注于靠近邊界的幾何信息，而對(duì)象識(shí)別可以專注于遠(yuǎn)離這同一邊界的可靠語(yǔ)義，從而有可能創(chuàng)造出一個(gè)混合了幾何和語(yǔ)義的圖像解讀。

　　演講三：Torsten Sattler 談大規(guī)模定位與地圖構(gòu)建面臨的挑戰(zhàn)

　　Torsten Sattler 的演講談?wù)摿舜笠?guī)模定位與地圖構(gòu)建。這項(xiàng)工作的目的是在已有的地圖內(nèi)執(zhí)行六個(gè)自由度的定位，尤其是移動(dòng)定位。演講中的一個(gè)關(guān)鍵點(diǎn)是：當(dāng)你使用傳統(tǒng)的基于特征的方法時(shí)，存儲(chǔ)你的描述很快就將變得非常昂貴。視覺(jué)詞匯表（記得產(chǎn)品量化嗎？）等技術(shù)可以顯著減少存儲(chǔ)開(kāi)銷，再加上某種程度的巧妙優(yōu)化，描述的存儲(chǔ)將不再成為存儲(chǔ)瓶頸。

　　Sattler 的演講給出的另一個(gè)重要的關(guān)鍵信息是正確數(shù)據(jù)的數(shù)量實(shí)際上并不是相機(jī)姿態(tài)估計(jì)的很好的置信度測(cè)量。當(dāng)特征點(diǎn)全都集中于圖像的單一一個(gè)部分時(shí)，相機(jī)定位可能會(huì)在千里之外！一個(gè)更好的置信度測(cè)量是有效正確數(shù)據(jù)計(jì)數(shù)，其可以將正確數(shù)據(jù)所在的區(qū)域作為整體圖像區(qū)域的一個(gè)部分來(lái)進(jìn)行審查。你真正希望得到的是整體圖像上的特征匹配——如果信息散布在整個(gè)圖像上，你能得到更好的姿態(tài)估計(jì)。

　　Sattler 對(duì)未來(lái)實(shí)時(shí) SLAM 的演講是這樣的：我們應(yīng)該關(guān)注緊湊型的地圖表征，我們應(yīng)該對(duì)相機(jī)姿態(tài)估計(jì)置信度有更好的理解（如樹(shù)上權(quán)重下降的特征），我們應(yīng)該在更有挑戰(zhàn)性的場(chǎng)景中研發(fā)（如帶有平面結(jié)構(gòu)的世界和在白天的地圖上的夜間定位）。

　　移動(dòng)定位：Sattler 的關(guān)鍵問(wèn)題是使用單張智能手機(jī)圖片在大城市里定位你自己

　　ORB-SLAM 的創(chuàng)造者 Mur-Artal 的演講內(nèi)容全部圍繞著 SLAM 領(lǐng)域內(nèi)基于特征的方法 vs 直接方法的爭(zhēng)論，而他顯然站在基于特征的方法一邊。ORB-SLAM 可通過(guò)一個(gè)開(kāi)源的 SLAM 軟件包獲取，而且它很難被擊敗。在他對(duì) ORB-SLAM vs PTAM 的評(píng)價(jià)中，似乎 PTAM 實(shí)際上常常失?。ㄖ辽僭?TUM RGB-D 基準(zhǔn)上）。LSD-SLAM 在 TUM RGB-D 基準(zhǔn)上的錯(cuò)誤通常遠(yuǎn)高于預(yù)期。

　　簡(jiǎn)單來(lái)說(shuō)，谷歌的 Tango 項(xiàng)目是世界上第一個(gè)商業(yè)化 SLAM 的嘗試。來(lái)自 Google Zurich 的 Simon Lynen（之前屬于 ETH Zurich）帶著一個(gè) Tango 現(xiàn)場(chǎng)演示（在一臺(tái)平板電腦上）來(lái)到了研討會(huì)，并展示了 Tango 世界的新內(nèi)容。你可能不知道，谷歌希望將 SLAM 能力集成到下一代安卓設(shè)備中。

　　Tango 項(xiàng)目展示討論了一種通過(guò)在圖像到圖像匹配矩陣中尋找特定的模式以進(jìn)行環(huán)路閉合的新方法。這 個(gè)方法是來(lái)自沒(méi)有固定位置的位置識(shí)別成果。他們也做帶有基于視覺(jué)的環(huán)路閉合的在線束調(diào)整。

　　這種圖像到圖像矩陣揭示一種尋找環(huán)路閉合的新方法?？稍谠?YouTube 視頻中查看工作中的算法。

　　Tango 項(xiàng)目的人也在研究將谷歌多個(gè)眾包地圖結(jié)合起來(lái)，其目標(biāo)是將由不同的人使用配置有 Tango 的設(shè)備創(chuàng)造的多個(gè)迷你地圖結(jié)合起來(lái)。

　　Simon 展示了一個(gè)山地自行車軌跡跟蹤的視頻，這在實(shí)踐中實(shí)際上是相當(dāng)困難的。其中的想法是使用一個(gè) Tango 設(shè)備跟蹤一輛山地自行車，并創(chuàng)建一份地圖，然后后續(xù)的目標(biāo)是讓另外一個(gè)人沿著這條軌跡走。這個(gè)目前只是半有效狀態(tài)——當(dāng)在地圖構(gòu)建和跟蹤步驟之前有幾個(gè)小時(shí)時(shí)間時(shí)有效，但過(guò)了幾周、幾個(gè)月就沒(méi)效果了。

　　在 Tango 相關(guān)的討論中，Richard Newbe 指出 Tango 項(xiàng)目所使用的 “特征” 在更深度地理解環(huán)境上還是相當(dāng)落后的，而且看起來(lái)類似 Tango 項(xiàng)目的方法無(wú)法在室外場(chǎng)景中起作用——室外場(chǎng)景有非剛性大量光照變化等。所以我們有望見(jiàn)到為室外環(huán)境設(shè)計(jì)的不同系統(tǒng)嗎？Tango 項(xiàng)目將成為一個(gè)室內(nèi)地圖構(gòu)建設(shè)備嗎？

　　ElasticFusion 是一種需要 Kinect 這樣的 RGBD 傳感器的密集型 SLAM 技術(shù)。2-3 分鐘就能獲得單個(gè)房間的高質(zhì)量 3D 掃描，這真是相當(dāng)酷。許多 SLAM 系統(tǒng)的場(chǎng)景背后都使用了姿態(tài)圖形，這種技術(shù)有一種不同的（以地圖為中心）方法。該方法專注于構(gòu)建地圖，但其訣竅是其構(gòu)建的地圖可以變形，也因此得名 ElasticFusion（彈性融合）。其中算法融合的部分是向 KinectFusion 致敬——KinectFusion 是第一個(gè)高質(zhì)量的基于 Kinect 的重建方式。Surfels 也被用作底層的基元。

　　恢復(fù)光源：我們一窺了來(lái)自倫敦帝國(guó)學(xué)院/戴森機(jī)器人實(shí)驗(yàn)室的尚未發(fā)表的新研究成果。其中的想法是通過(guò)探測(cè)光源方向和探測(cè)鏡面反射，你可以提升 3D 重建的結(jié)果。關(guān)于恢復(fù)光源位置的炫酷視頻顯示其最多能處理 4 個(gè)獨(dú)立光源。

　　在演示會(huì)議期間（在研討會(huì)中間舉行），許多展示者展示了他們的 SLAM 系統(tǒng)工作中的樣子。這些系統(tǒng)中許多都是以開(kāi)源軟件包的形式提供的，所以如果你對(duì)實(shí)時(shí) SLAM 感興趣，可以嘗試這些代碼。但是，最亮眼的演示是 Andrew Davison 展柜上他的來(lái)自 2004 年的 MonoSLAM 演示。Andrew 不得不恢復(fù)了已有 15 年歲月的計(jì)算機(jī)（運(yùn)行的是 Redhat Linux）來(lái)展示他原來(lái)的系統(tǒng)，運(yùn)行在原來(lái)的硬件上。如果計(jì)算機(jī)視覺(jué)社區(qū)將決定舉辦一場(chǎng)復(fù)古視覺(jué)的演示會(huì)議，那我馬上就將會(huì)提名 Andrew 應(yīng)得最佳論文獎(jiǎng)。

　　看著 SLAM 系統(tǒng)專家揮動(dòng)自己的 USB 攝像頭真是一件有趣的事——他們?cè)谡故舅麄兊南到y(tǒng)圍繞他們的筆記本電腦構(gòu)建周圍桌子大小區(qū)域的 3D 地圖。如果你仔細(xì)看了這些專家移動(dòng)攝像頭的方式（即平穩(wěn)的圓圈運(yùn)動(dòng)），你幾乎就能看出一個(gè)人在 SLAM 領(lǐng)域工作了多長(zhǎng)時(shí)間。當(dāng)一位非專家級(jí)的人拿著攝像頭時(shí)，跟蹤失敗的概率明顯更高。

　　我有幸在演示會(huì)議期間和 Andrew 進(jìn)行了交談，我很好奇這一系列的成果（過(guò)去 15 年中）中哪一個(gè)最讓他感到驚訝。他的回答是 PTAM 最讓他吃驚，因?yàn)槠浔砻髁藢?shí)時(shí)束調(diào)整執(zhí)行的方式。PTAM 系統(tǒng)本質(zhì)上是 MonoSLAM++ 系統(tǒng)，但因?yàn)椴捎昧艘环N重量級(jí)算法（束調(diào)整）而顯著提高了跟蹤效果并做到了實(shí)時(shí)——在 2000 年早期 Andrew 還認(rèn)為“實(shí)時(shí)”是不可能辦到的。

　　SLAM 小組討論真是樂(lè)趣無(wú)窮。在我們進(jìn)入重要的深度學(xué)習(xí) vs SLAM討論之前，我應(yīng)該說(shuō)明每一位研討會(huì)展示者都同意：語(yǔ)義對(duì)構(gòu)建更大更好的 SLAM 系統(tǒng)是必需的。關(guān)于未來(lái)的方向，這里有很多有趣的小對(duì)話。在爭(zhēng)論中，Marc Pollefeys（一位知名的 SfM 和多視角幾何研究者）提醒所有人，機(jī)器人是 SLAM 的一個(gè)殺手級(jí)應(yīng)用，并建議我們保持對(duì)大獎(jiǎng)的關(guān)注。這令人非常驚訝，因?yàn)?SLAM 傳統(tǒng)上是適用于機(jī)器人問(wèn)題的，但過(guò)去幾十年機(jī)器人并沒(méi)有什么成功（谷歌機(jī)器人？），導(dǎo)致 SLAM 的關(guān)注重點(diǎn)從機(jī)器人轉(zhuǎn)移到了大規(guī)模地圖構(gòu)建（包括谷歌地圖）和增強(qiáng)現(xiàn)實(shí)上。研討會(huì)上沒(méi)人談?wù)撨^(guò)機(jī)器人。

　　人們對(duì)將語(yǔ)義整合到今天最出色的 SLAM 系統(tǒng)中有很大興趣。當(dāng)涉及語(yǔ)義時(shí)， SLAM 社區(qū)不幸地卡在了視覺(jué)詞袋（bags-of-visual-words）的世界里，而在如何將語(yǔ)義信息整合進(jìn)他們的系統(tǒng)上沒(méi)有什么新想法。在語(yǔ)義一端，我們現(xiàn)在已經(jīng)看到 CVPR/ICCV/ECCV 上冒出了很多實(shí)時(shí)語(yǔ)義分割演示（基于卷積神經(jīng)網(wǎng)絡(luò)）；在我看來(lái)，SLAM 需要深度學(xué)習(xí)，而深度學(xué)習(xí)也一樣需要 SLAM。

　　人們經(jīng)常談到將語(yǔ)義整合進(jìn) SLAM，但說(shuō)起來(lái)容易做起來(lái)難。圖片來(lái)自 Moreno 的博士論文（142 頁(yè)）：密集型語(yǔ)義 SLAM

　　在 SLAM 研討會(huì)小組討論結(jié)束時(shí)，Zeeshan Zia 博士提出了一個(gè)震驚所有人的問(wèn)題，并引發(fā)了一場(chǎng)充滿能量的討論，令人難忘。你應(yīng)該看看小組成員們臉上的表情。那就像是將一個(gè)深度學(xué)習(xí)的火球投向一群幾何學(xué)家。他們的面部表情表達(dá)出了他們的困惑、憤怒和厭惡。他們想：你怎么敢質(zhì)疑我們？正是在這些稍縱即逝的時(shí)刻，我們才能真正體會(huì)到大會(huì)的體驗(yàn)。Zia 的問(wèn)題基本上是：在構(gòu)建今天的 SLAM 系統(tǒng)時(shí)，端到端學(xué)習(xí)很快就將取代大部分人工勞動(dòng)嗎？

　　Zia 的問(wèn)題非常重要，因?yàn)槎说蕉说目捎?xùn)練系統(tǒng)已經(jīng)慢慢進(jìn)入到了很多高級(jí)的計(jì)算機(jī)問(wèn)題中，相信 SLAM 會(huì)是一個(gè)例外是沒(méi)有道理的。有好幾位展示者都指出當(dāng)前的 SLAM 系統(tǒng)過(guò)于依賴幾何，以至于讓完全基于深度學(xué)習(xí)的 SLAM 系統(tǒng)看起來(lái)不合理了——我們應(yīng)該使用學(xué)習(xí)技術(shù)得到更好的點(diǎn)描述，而不要管幾何。你可以使用深度學(xué)習(xí)做一個(gè)計(jì)算器，并不意味你應(yīng)該這么做。

　　通過(guò)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)立體相似度函數(shù)，來(lái)自 Yan LeCun 及其合作者

　　盡管許多小組討論發(fā)言人都使用了有些肯定不行回應(yīng)，但讓人驚訝的是，卻是 Newbe 聲援了深度學(xué)習(xí)和 SLAM 聯(lián)姻的可能。

　　盡管 Newbe 在深度學(xué)習(xí)可能如何幫助 SLAM 上沒(méi)有提供很多證據(jù)或想法，但他卻為 SLAM 如何可能為深度學(xué)習(xí)提供幫助給出了一條清晰的路徑。想想看我們使用大規(guī)模 SLAM 已經(jīng)構(gòu)建出的地圖以及這些系統(tǒng)所提供的對(duì)應(yīng)——這難道不是一個(gè)構(gòu)建能幫助深度學(xué)習(xí)的萬(wàn)億級(jí)圖像到圖像相關(guān)數(shù)據(jù)集的清晰路徑嗎？其基本思路是：今天的 SLAM 系統(tǒng)是大規(guī)模的對(duì)應(yīng)引擎，可以用來(lái)生成大規(guī)模數(shù)據(jù)集，而這正是深度卷積神經(jīng)網(wǎng)絡(luò)所需要的。

　　這次 ICCV 大會(huì)上主流的工作（重在機(jī)器學(xué)習(xí)）和本次實(shí)時(shí) SLAM 研討會(huì)所呈現(xiàn)出現(xiàn)的工作（重在束調(diào)整等幾何方法）之間存在相當(dāng)大的脫節(jié)。主流的計(jì)算機(jī)視覺(jué)社區(qū)在過(guò)去十年內(nèi)已經(jīng)見(jiàn)證了多次小型變革（如：Dalal-Triggs、DPM、ImageNet、ConvNets、九游體育R-CNN），而今天的SLAM系統(tǒng)和它們八年前的樣子并沒(méi)有很大的不同。Kinect 傳感器可能是SLAM領(lǐng)域唯一的最大的徹底變革的技術(shù)，但基礎(chǔ)算法仍舊保持著原樣。

　　今天的 SLAM 系統(tǒng)能幫助機(jī)器在幾何上理解眼前的世界（即在本地坐標(biāo)系中構(gòu)建關(guān)聯(lián)），而今天的深度學(xué)習(xí)系統(tǒng)能幫助機(jī)器進(jìn)行分類推理（即在不同的對(duì)象實(shí)例之上構(gòu)建關(guān)聯(lián)）?？偟膩?lái)說(shuō)，在視覺(jué) SLAM 上，我與 Newbe 和 Davison 一樣興奮，因?yàn)榛谝曈X(jué)的算法將會(huì)將增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)轉(zhuǎn)變成一個(gè)價(jià)值數(shù)十億美元的產(chǎn)業(yè)。但是，我們不應(yīng)忘記保持對(duì)那個(gè)萬(wàn)億美元市場(chǎng)的關(guān)注，那個(gè)將重新定義 “工作” 的市場(chǎng)——機(jī)器人。機(jī)器人SLAM的時(shí)代很快就要到來(lái)了。