商湯科技：高效低成本的室內外精確定位和AR導航已經到來
商湯科技SenseMARS火星混合現實平臺，以更低成本、更易普及的AI視覺技術為核心，以高效低成本的方式實現室內外精準定位和AR導航。
商湯SenseMARS火星混合現實平臺由浙江大學-商湯科技三維視覺聯合實驗室與商湯產品團隊聯合打造，具備專業級高精度三維數字化地圖構建、跨平臺和終端的空間感知計算、全場域厘米級的端云協同定位等空間定位和構建能力，并可支持Android/iOS/Web/小程序等系統平臺，以及手機、平板電腦、AR/MR眼鏡等多種終端設備，從而實現室內、室外等不同場景的AR/MR特效、導航和導覽等功能。
雖然，自1967年衛星導航技術開放民用以來，經過50多年的發展，導航定位已經廣泛應用于交通物流、地理信息、高精度測量等行業，提高了現代社會的運行效率，給個人生活和旅行帶來了極大的便利。導航定位技術在室外場景中已經非常流行，但室內導航的應用還沒有得到很好的發展。
一方面由于衛星信號的衰減，衛星導航定位在室內幾乎毫無用武之地。另一方面，盡管基于藍牙信標定位、Wi-Fi信號等專用設備的解決方案在一定程度上可以輔助室內導航定位，但卻部署和維護成本高昂，不具備大規模推廣的條件。
商湯科技SenseMARS火星混合現實平臺基于視覺高精定位的AR導航
室內導航的難點在哪里？展覽館、博物館、商場、交通樞紐等大型室內場景環境復雜，規模巨大，并存在很多無紋理空間區域和視覺歧義區域，地圖數據的采集、制作及表達是一大難點。同時，伴隨光照、視點變化，用戶如何精準快速地實現重定位也是一項挑戰。
稀疏點云地圖構建采用運動恢復結構（Structure from Motion，簡稱SfM）技術。利用離線采集的視頻或圖片提取場景中的視覺特征，恢復圖片的相機位姿和場景的稀疏三維點云，視覺特征和三維點云主要用于視覺重定位，而相機位姿可用來做進一步的稠密三維幾何構建。
稀疏點云地圖
稠密三維點云
以采集的視頻或圖片以及SfM恢復的相機位姿為輸入，經過稠密深度估計、深度融合、網格構建和紋理貼圖，最終輸出場景的精細化稠密點云和帶紋理的三維網格模型，這就是稠密三維幾何構建。
得益于商湯在原創技術研發上的產學研優勢，浙江大學-商湯三維視覺聯合實驗室研究團隊經過兩年多時間的技術攻關和打磨，提出基于單目/多目/全景相機、慣性測量單元、GPS等多源數據的采集方案和多源數據融合建圖算法，實現了高效穩定的地圖數據采集、重建和更新。
2萬平米場景一般可在1小時內完成數據采集，6個小時左右完成三維重建和紋理貼圖（單節點服務器上），重建精度可達厘米級。
重建的高精度三維網格可以用來正確處理虛擬物體和真實場景的遮擋以及碰撞關系，實現具有高度真實感的增強現實效果。
大規模3D地圖重建，SenseMARS生成的50萬平方米杭州錢江世紀城園區地圖。
高精度三維數字化模型和紋理貼圖，SenseMARS生成的變壓器三維模型
讓機器輸出準確匹配場景
有了地圖數據之后，用戶如何透過終端將導航指示箭頭等虛擬內容無縫融合在現實場景中？
關鍵就在于實時、準確地獲取用戶的相機位姿，由視覺重定位和SLAM一起來實現。
視覺重定位以用戶拍攝圖像為輸入，將圖像中的特征與地圖數據中的特征進行匹配，獲取圖像特征點和地圖三維點的2D-3D對應關系，并計算圖像相機位姿，在SLAM過程中幫助進行累積誤差的矯正。
SenseMARS視覺定位技術在商超、展館等典型室內場景成功率高于95%，結合SLAM 技術實現連續穩定的位姿跟蹤，同時拓展地圖未覆蓋到的區域。
SLAM技術利用相機、IMU等常見的傳感器信息可以實時計算出當前設備的6DoF位姿，保證圖像上AR效果與真實環境的一致性、穩定性及貼合性。
再借助離線高精度地圖和高精定位結果，就可以保證在大尺度場景下長時間的高精定位和跟蹤。
此外，針對目前APP方案比較重且SLAM算法的機型覆蓋率不足的問題，商湯同時提供了輕量級的Web SLAM能力，能夠在H5和小程序中實時運行。
用戶無需安裝App只需簡單掃描二維碼，即可體驗完整的室內外定位和AR導航導覽能力。
基于以上這些技術，商湯SenseMARS平臺可以支撐多種實際復雜場景中的高精度增強/混合現實需求。在GPS信號難以覆蓋的區域，讓用戶可通過圖像或視頻實時準確地獲取自身位置。
結合商湯SLAM技術還能以增強/混合現實的方式獲取場景的額外信息如導航、導覽、商家介紹等基于位置的內容增強，切身感受AR與生活場景的巧妙融合。
