智能汽车如何眼观六路、耳听八方?传感器融合与卡尔曼滤波技术
Summary
TLDR李永樂老師在這期視頻中詳細解釋了自動駕駛汽車的傳感器融合技術。他通過比喻和實際例子,講解了毫米波雷達、激光雷達、攝像頭等傳感器如何相互配合,以及如何通過卡爾曼濾波技術融合這些傳感器的數據,以實現精確的環境感知和定位。此外,他還介紹了高精度地圖在自動駕駛中的重要作用,以及小鵬P7汽車如何利用這些技術提升駕駛的安全性和效率。
Takeaways
- 🚗 自动驾驶汽车需要多种传感器来感知周围环境,包括摄像头、毫米波雷达、超声波雷达等。
- 📐 小鹏P7配备了多个传感器和高精度地图,以实现NGP自动导航辅助驾驶功能。
- 🔍 传感器融合技术允许汽车综合不同传感器的信息,提高对环境的感知能力。
- 🌧️ 激光雷达在雨雪天气下性能受限,而毫米波雷达具有全天候工作的优势。
- 📷 摄像头能够识别颜色和形状,但夜间和恶劣天气下性能下降。
- 🗺️ 高精度地图与传感器数据结合,可以实现厘米级的车辆定位。
- 📡 GPS和地面基站结合使用,可以提高定位精度至分米级。
- 🤖 卡尔曼滤波是一种数学方法,用于处理和融合多个传感器的数据,提高估计的准确性。
- 🚀 卡尔曼滤波技术曾帮助阿波罗飞船登月,现在广泛应用于GPS导航系统。
- 🧭 自动驾驶汽车通过多传感器融合和卡尔曼滤波技术,提高对位置和环境的判断准确性。
- 📚 李永乐老师通过视频讲解,帮助观众理解自动驾驶技术的复杂性和背后的科学原理。
Q & A
小鵬P7的自動駕駛功能有哪些特點?
-小鵬P7的自動駕駛功能包括多個攝像頭、毫米波雷達、超聲波雷達、分米級的高德地圖以及厘米級的高精度定位,還有互為冗余的雙計算平臺,這些技術使得汽車能夠更準確地感知周圍環境並進行精確定位。
傳感器融合是什麼?
-傳感器融合是自動駕駛汽車感知環境的一種技術,通過結合多種傳感器(如攝像頭、雷達等)收集的信息,以獲得更全面、準確的環境感知能力。
激光雷達和毫米波雷達有哪些區別?
-激光雷達通過發射激光並接收回波來測量障礙物距離,能夠進行3D建模,但波長短,難以穿透雨雪雲霧。毫米波雷達波長較長,能夠穿透雨雪,稱為全天候雷達,但不能進行3D建模。
為什麼需要高精度地圖?
-高精度地圖能夠提供分米級甚至厘米級的定位精度,對於自動駕駛汽車來說,這種精度是必要的,因為它們需要精確地知道自己的位置以及周圍環境的詳細信息。
卡爾曼濾波是什麼?
-卡爾曼濾波是一種數學算法,用於處理多傳感器融合問題,能夠將帶有誤差的測量值融合,得到最優的估計結果。它在自動駕駛、導航系統以及宇宙飛船的定位中都有應用。
小鵬P7是如何實現高精度定位的?
-小鵬P7通過結合GPS或北鬥導航系統的定位、地面基站校準(如千尋定位系統),以及高精地圖的對比,實現了分米級甚至厘米級的高精度定位。
傳感器融合中遇到的矛盾信息該如何處理?
-在傳感器融合中,如果不同傳感器提供的信息存在矛盾,可以通過卡爾曼濾波算法來處理。該算法會根據各傳感器測量值的準確度(方差大小)來分配權重,從而得出最優的估計結果。
卡爾曼濾波的優點是什麼?
-卡爾曼濾波的優點在於它能夠有效地處理多源信息,並在存在誤差和不確定性時提供最優的估計結果。它通過數學方法最小化總的方差,從而提高估計的準確度。
小鵬P7的NGP自動導航輔助駕駛功能是如何工作的?
-NGP功能通過融合多種傳感器收集的數據,並利用卡爾曼濾波等算法進行處理,以實現對汽車周圍環境的精確感知和自身位置的高精度定位,從而輔助駕駛,使駕駛更加安全和高效。
在自動駕駛中,為什麼需要考慮傳感器的空間定標和時間定標?
-空間定標是為了將不同傳感器在車輛不同位置收集的數據融合到同一參考系統中,確保數據的一致性。時間定標則是為了處理不同傳感器感知頻率不一致的問題,確保融合的數據是同步的。
小鵬P7的NGP功能如何提升駕駛安全?
-NGP功能通過精確的環境感知和定位,能夠預測和應對各種駕駛情境,如避讓障礙物、遵守交通規則等,從而降低事故風險,提升駕駛安全。
Outlines
🚗 自动驾驶汽车的传感器融合技术
李永乐老师介绍了自动驾驶汽车如何通过多种传感器(如摄像头、毫米波雷达、激光雷达等)进行环境感知。他解释了传感器融合的重要性,以及如何通过这些传感器的互补特性来提高自动驾驶汽车对周围环境的感知能力。
📍 高精度定位与地图的重要性
李永乐老师阐述了自动驾驶汽车需要高精度地图和定位系统来确定车辆的精确位置。他解释了导航级地图与高精度地图的区别,并介绍了如何通过地面基站和高精度地图提高定位精度。
🤖 传感器数据融合的挑战与卡尔曼滤波
李永乐老师讨论了传感器数据融合面临的挑战,包括空间定标和时间定标问题。他介绍了卡尔曼滤波的原理和应用,以及如何通过数学计算融合不同传感器的信息,以获得更准确的车辆位置和环境感知。
🛰️ 卡尔曼滤波的历史与现代应用
李永乐老师讲述了卡尔曼滤波的历史背景,以及它在航天、航海和自动驾驶汽车中的应用。他解释了卡尔曼滤波如何帮助处理传感器数据的不确定性,并提供了一个简化的卡尔曼滤波模型示例。
Mindmap
Keywords
💡自动驾驶
💡传感器融合
💡毫米波雷达
💡高精度地图
💡卡爾曼濾波
💡激光雷达
💡摄像头
💡双计算平台
💡NGP自动导航辅助驾驶功能
💡冗余设计
Highlights
小鵬P7自動駕駛汽車擁有多個傳感器,包括攝像頭、毫米波雷達、超聲波雷達等。
小鵬P7使用分米級高德地圖和厘米級高精度定位。
小鵬P7具有互為冗余的雙計算平臺。
傳感器融合技術讓汽車能夠眼觀六路,耳聽八方。
激光雷達能進行3D建模,但難以穿透雨雪雲霧。
毫米波雷達是全天候雷達,能穿透雨雪。
攝像頭能判斷顏色,但定位準確度不如雷達。
小鵬P7利用多種傳感器融合技術,提高自動駕駛的安全性和效率。
高精度地圖對自動駕駛汽車至關重要,能實現分米級甚至厘米級定位。
卡爾曼濾波技術能夠融合不同傳感器的信息,提高定位精度。
小鵬P7通過卡爾曼濾波實現了厘米級的高精度定位。
卡爾曼濾波曾幫助阿波羅飛船登月,現在也應用於GPS導航系統。
多傳感器融合原理與早期航海家的方法相似,但現在有更先進的技術。
小鵬汽車NGP自動導航輔助駕駛功能是一種創新的自動駕駛技術。
小鵬P7的傳感器融合技術能夠準確判斷周圍環境和自身位置。
小鵬P7的技術展示了自動駕駛領域的進步和發展。
李永樂老師通過視頻解釋了自動駕駛汽車的技術原理。
小鵬P7的自動駕駛技術能夠讓駕駛變得更加安全和高效。
Transcripts
各位同學 大家好 我是李永樂老師
前一段時間 我講了一期關於自動駕駛的話題
有小朋友就跟我說
他最近就買了一輛自動駕駛的汽車小鵬P7
它擁有多個攝像頭 毫米波雷達
超聲波雷達 分米級的高德地圖
以及厘米級的高精度定位
還有互為冗余的雙計算平臺
他想問我
這麽一大堆聽不懂的名詞 到底是什麽意思呢
今天我們就來聊一聊
小鵬汽車的NGP自動導航輔助駕駛功能
為了聊這個話題
我們首先來講一講傳感器的融合 傳感器融合
我們在上一次講自動駕駛的時候說過
一個汽車要想自動駕駛的話
它必須能夠自動地感知外界的環境
同時進行決策以及執行
在感知的層面 就需要一大堆傳感器進行配合
汽車的傳感器就相當於人的感官
人的感官不只有一種
比如說亞裏士多德說人的感官有五種
就是眼睛 鼻子 舌頭 耳朵還有身體
分別對應了視覺 嗅覺 味覺 聽覺
還有觸覺 是吧
每一種感覺都有它的特點
比如說大部分情況下
視覺的範圍是比較廣泛的
但是如果你遇到了雨雪天氣
也許聽覺能為我們提供更準確的信息
只有幾種感官相互配合
人們才能準確地判斷外界的環境
那麽對於汽車來講
同樣是如此
使用一種傳感器 不能準確地判斷外界環境
所有的自動駕駛汽車
必須使用多種傳感器相互配合
這就是所謂的傳感器融合技術
它能夠讓汽車眼觀六路 耳聽八方
回答兩個重要的問題
那就是我周圍有什麽以及我在哪裏
我們首先來看第一個問題
說汽車可以通過傳感器回答
說自己的周圍到底有什麽這個話題 是吧
一般來講
在具有高級自動駕駛功能的汽車上
它在高速行駛的時候
有三種傳感器發揮了這個作用
這三種傳感器分別是激光雷達
以及以前我們講過的叫毫米波雷達
毫米波雷達 還有就是攝像頭 攝像頭
每一種傳感器都有自己不同的特點
我們來解釋一下 畫個表格
表格畫完了
我們首先來說一說激光雷達
激光雷達的原理
就是發射一束激光
遇到障礙物 然後反射接收到回波
計算發射和接收的時間差
從而判斷障礙物的距離
激光雷達又分為兩種
有一種叫機械式激光雷達
就是它可以向不同的方向360度的旋轉
然後掃描 是吧
這樣就可以判斷
說周圍的障礙物離自己都有多遠了
可以獲得一個3D點陣
就可以勾繪出周圍的這個情況
還有另外一種激光雷達叫做固體激光雷達
它就是由很多個光源形成一個陣列
通過調相的方法
就可以實現向不同的方向發射激光
它不需要旋轉
而且這種雷達 它相比來講造價比較低
這個壽命也比較長
可能是未來激光雷達的這個發展方向
激光雷達有很多很好的特征
比如說 首先它的定位非常準確
它可以準確地判斷這個障礙物離我們有多遠
而且是什麽方向的
它都可以準確地判斷出來
同時激光雷達是自己發出電磁波接收回波
它不需要有外界的光
所以夜晚也可以使用
而且激光的波長很短
它可以判斷這個物體的表面的形狀 是吧
這個物體是一個平面 還是一個凸起
它都可以判斷出來
我們稱之為可以3D建模
但是激光雷達也有它的缺點
比如說 因為激光波長比較短
很難穿透雨雪雲霧
到雨雪雲霧的天氣
激光雷達就不能用了 對吧
再比如說 激光雷達是靠發射激光接收回波
測量物體的距離
它沒有辦法判斷
這個物體是紅色還是綠色的 是吧
它沒有辦法判斷物體的顏色
所以它看不出來紅綠燈 是吧
而且它也沒有辦法區分哪個車道線
是不是 這是激光雷達的一個缺點
那麽為了克服這些缺點
人們還需要其他雷達
比如說毫米波雷達
毫米波雷達和激光雷達原理類似
它只不過波長長一些
它也可以實現比較準確的定位
在夜晚也可以使用
它還有一個優點
就是因為波長長 可以穿透雨雪 是吧
所以也稱它為全天候雷達
白天晚上都能用 雨雪天氣也能用
但是它也有缺點
首先它跟激光雷達一樣
不能夠區分物體的顏色
而且因為它波長比較長
就沒有辦法準確地描繪出
這個物體到底是長什麽樣子
沒有辦法進行3D建模 這是它的一缺點
那麽怎麽辦呢
人們又提出我們還可以用攝像頭
攝像頭就相當於汽車的眼睛
它跟雷達不一樣
雷達是發射電磁波 接收回波
而這個攝像頭它只接收外界的光信號
它不往外發射 對不對
所以它的特征首先它可以判斷顏色 對吧
它拍攝了很多很多的照片
然後把這些照片輸入計算機 進行機器學習
它就可以知道這個是紅綠燈 那個是斑馬線
這個是人 那個是車 對吧
它就可以知道這些信息了
但是攝像頭也有它的缺點
首先來講 晚上沒光的時候
攝像頭肯定是用不了的 對不對
雨雪天氣 這個光也很容易被遮擋
所以也沒有辦法判斷前方的物體了
如果你是雙目攝像頭
你倒是可以進行簡單的定位
但是攝像頭它是有畸變的
所以它的定位準確度遠遠沒有雷達好
如果是單目攝像頭 那就沒有辦法實現定位了
同時攝像頭也沒有辦法進行3D建模
你這樣一看
每一種傳感器 其實都有它的優點和它的缺點
所以我們得把多種傳感器配合起來使用
才能夠準確地判斷出外界的環境
你比如說你用這個激光雷達進行定位 是吧
定位完了之後
用它勾勒出這個物體的這個形狀來
最後我們再用這個攝像頭進行上色
我就可以知道是什麽了
如果攝像頭發現前面有一只老虎
結果激光雷達判斷這是一個平面的 是吧
那我們就可以知道這是一張老虎的年畫
我就可以準確地進行判斷了
那小鵬P7就是利用了這樣的技術
它有5個毫米波雷達
還有14個攝像頭進行融合
那自動駕駛汽車除了要知道周圍有什麽以外
還有一個 就是自己在哪裏
或者說要實現這個高精度的定位
那我們現在定位用導航 是不是
我們用手機打開百度地圖或者高德地圖
我們就可以導航了
那種地圖它叫導航級地圖
導航級地圖精確度不高 大概是米級
就是說我們使用導航級地圖
它的誤差在幾米的這個量級
我沒有辦法區分
自己的汽車到底是在主路上還是在輔路上
到底是在第一條車道還是在第二條車道
那麽這種導航及地圖
其實對於自動駕駛汽車是不夠的
自動駕駛汽車必須使用高精度的地圖
高精地圖
這個高精地圖要精到什麽程度呢
要能夠對汽車進行分米級
甚至厘米級的這種定位
它的誤差要在分米甚至是厘米的量級
那怎麽才能做到這麽高的精度呢
我給大家介紹一下這個方法
首先我們知道一個汽車上面
它會有一些這個定位的模塊
它可以和這個衛星進行聯絡
比如說我們可以用GPS或者北鬥這個導航系統
用這個導航系統跟衛星進行聯絡
理論上來講 四顆衛星就可以把你定位了
這就是第一步
就是通過這個北鬥或者GPS我們可以進行定位
但是這樣定位它是存在一定的誤差的
比如說因為雲霧的影響造成的這個光速的變化
等等會有誤差
那麽這個誤差怎麽辦呢
我們可以在地面上建立一系列的基站進行校準
我們不光要你和這個衛星聯絡
你還要和地面的基站進行校準聯絡
很多公司就做這個事
比如說像這個千尋定位系統
千尋定位就是在地面上安裝了一大堆的基站
這樣它就可以提高你定位的精度
比如說像導航系統只能給你達到米量級
而這個千尋定位就可以輔助你
達到分米量級的定位
但是我們怎麽樣才能
進一步提高這個定位的精度呢
還有方法
比如說像這個高德地圖
他做這個高精度地圖的方法是這樣的
首先他在做地圖的時候
他就會派一輛帶有這個激光雷達的汽車上路
這個激光雷達的汽車
它就會把周圍的環境都拍下來
周圍可能有什麽呢
周圍可能有一個 比如說一個房子
也可能是有一棵大樹
也可能這邊有一個紅綠燈
也可能這邊還有一個什麽花壇之類的
那麽這些東西
都會被這個激光雷達拍攝下來
拍攝下來之後
它就把這個數據都記錄下來了
然後放到這個高精地圖上面 是吧
這個就是高德的這個高精地圖
然後當我們的這個自動駕駛汽車
去使用這個地圖的時候
它自動駕駛汽車不是也有這些傳感器嗎
它也會拍攝周圍的環境
它會把周圍的環境
再和高精地圖中已經拍攝好的這個環境
進行對比
它一對比就知道了
你看 我現在在主路上 我在輔路上
我在第一條道 還是在第二條道
我就可以達到厘米的量級了
這個小鵬汽車就采用了這樣的一個技術
首先通過這個定位系統
以及這個千尋定位系統
達到了一個分米級的定位
然後再通過這個高精地圖
跟周圍的環境進行比對
達到這個厘米級的定位
這就是自動駕駛汽車的一個定位的原理
那剛才我們介紹了傳感器融合的作用
但傳感器究竟是怎麽融合到一塊的呢
這是一個很復雜的技術問題
舉個例子來講
不同的傳感器它們的獲得信息是不一樣的
這裏面面臨兩個方面的問題
第一個問題叫做空間定標
就是你不同的傳感器
你是安裝在車上不同的位置的
所以角度也不一樣
這樣你會看到不同的情景 拍攝到不同的畫面
你怎麽通過空間坐標的方法
把這些個畫面給融合到一塊
這就叫空間定標 是吧
第二個是時間定標
每一個傳感器它對外界環境的感知頻率不一樣
比如說攝像頭 它可能每秒鐘拍攝25張照片
而這個毫米波雷達
它可能每秒鐘只是探測10次
這樣一來 攝像頭拍照片的時候
可能這個毫米波雷達沒有信息傳回來
所以我要通過一些方法
把這個不同時間的信號 又把它融合起來
這個就叫所謂的時間定標
除了空間定標和時間定標以外
更為重要的是
有的時候傳感器獲得的信息是彼此矛盾的
比如說攝像頭告訴我們前方有一堵墻
而毫米波雷達告訴我們前面是個斜坡
我們到底相信誰呢
比如說定位系統告訴我們現在在主路上
但是這個雷達告訴我們現在我們在輔路上
我們又該相信誰呢
因為每一種傳感器它都是有誤差的
所以這樣的矛盾是每時每刻都在發生的
我們該怎麽辦呢
這裏我們就不得不提一位
在工程界家喻戶曉的人物了
他是一位出生在奧地利的美國數學家和工程師
名字叫做魯道夫·卡爾曼
他提出了卡爾曼濾波
卡爾曼濾波曾經幫助阿波羅飛船登上了月球
現在也在每時每刻都在幫助我們的GPS導航系統
我們利用卡爾曼濾波
就可以把不同傳感器的信息融合到一塊了
我們舉一個例子
比如說我們通過定位系統
比如GPS定位 或者是什麽其他的定位系統
我們知道了這個汽車的位置
這個位置就是z₁
我告訴你汽車是在z₁的位置
但是因為GPS是有誤差的
它不能準確地告訴你在什麽位置
而只能告訴你在一個範圍內
它還有一個誤差或者說方差 σ₁²
z₁只是表示
你可能在的位置中的這個平均位置
或者叫期望
而這個σ₁²就代表了你的誤差大小
如果這個σ₁²特別特別小
就表示你的定位特別準確
σ₁²特別大
就表示你的定位不太準確 誤差特別大
一般來講我們認為
這個GPS定位也好 其他的定位也好
它的這個誤差情況
都滿足一個高斯分布 或者正態分布
以前我們講過高斯分布是什麽意思呢
畫一個圖像
縱坐標表示的是概率密度
就出現在某一個位置的概率密度
橫坐標是表示你的位置
如果說GPS告訴我們
你的位置是以z₁為平均位置
而標準差是σ₁
我們可以畫出一個圖像來
它就長這個樣子 是吧
它這個最大概率的位置就是z₁
這個圖像就告訴我們
你的位置最有可能是在z₁的位置
你離z₁位置越近 你出現的概率就越大
你離z₁位置越遠 你出現的概率就越小
如果這個函數特別的瘦高
那就意味著你給我的信息特別準確
你分布的位置都是在z₁附近的
如果這個函數特別的矮胖
那就說明你誤差特別大
我也不太清楚你到底是在什麽位置
這就是所謂的這種高斯分布或者說正態分布
這裏邊的這個σ
其實就表示它瘦高還是矮胖的程度
如果σ特別小 那這個函數就特別瘦高
就表示比較準確
σ特別大 就說明你比較矮胖
好 總而言之
這個GPS定位告訴了我們這個位置的信息
但是我們不是還有其他傳感器嗎
什麽雷達什麽的 攝像頭
我們這些傳感器它也可以告訴我們位置的信息
比如它告訴我們汽車的位置是在z₂
而且這個方差是σ₂²
我也可以再畫出這個傳感器告訴我們的情況
比如說它有可能是長這個樣子的 長這個樣子
這個樣子就告訴我們
傳感器認為我們的位置更加靠前一點 是不是
而且傳感器提供的信息可能更加準確
它的這個標準差σ₂比較小
而剛才這個GPS告訴我們的這個標準差
σ₁它是比較大的
現在我們得到兩個不同的信息
我們如何把它融合到一塊呢
這卡爾曼就說了
經過數學計算 你有一個最優的估計
最優的估計 最優的估計是什麽呢
那就是這有一個公式
這公式告訴我們你最優估計的位置等於什麽呢
=σ₂²z₁/(σ₁²+σ₂²)+σ₁²z₂/(σ₁²+σ₂²)
有的同學們說什麽亂七八糟的
其實這個問題並不是難理解的
咱們仔細看
z₁和z₂是兩個傳感器告訴我們的位置
我們最後估計的位置
一定是要把它融合到一塊得出一個結論
但是誰更準確我就更相信誰
你看這兩個圖像你就應該知道
這個σ₂更小一些
說明z₂這個信息更加準確
所以我在計算權重的時候
我應該讓z₂的這個權重更大一些
我怎麽才能讓z₂的權重更大一些呢
我讓它前面的權重是
σ₁²/(σ₁²+σ₂²)
你σ₁比較大 所以這個權重就大
大家能明白嗎 對不對
同樣道理 你這個z₁它的標準差比較大
說明它不是那麽的準確
所以它的權重就要小一些 是吧
所以你可以簡單地理解一下
這個其實就是把兩個數據融合到一塊了
在融合的時候 誰準確誰的權重就會大一些
同時我也可以知道新的這個方差
1/σ²=1/σ₁²+1/σ₂²
這就是卡爾曼告訴我們的最優結論
你會發現 這個新的標準差的平方或者說方差
它是比原來的兩個方差都要小的
所以最終我們會得出來一個新的估計情況
它是長這個樣子的
它首先它的均值是介於兩個估計值之間的
而且它的方差比兩個估計值都要小
或者說我們獲得了一個更加準確的估計
那麽假如這輛汽車還有其他傳感器
比如說有什麽速度計 加速度計
你還可以繼續進行卡爾曼濾波
這樣就會獲得一個更加準確的結果了
我們剛才介紹的這個模型
其實是最簡單的一個卡爾曼濾波模型
在實際的情況下 卡爾曼濾波不光是多維的
而且還是跟時間有關的 它是一個時續的
我們來看一下這個卡爾曼濾波
它在航海上有什麽應用 在航海上應用
其實人類在大航海時代開始的時候
就已經在不知不覺中使用這種濾波的方法了
比如說一個有經驗的船長
他在t₁的時刻他會有一個位置
他知道自己的位置
那麽他會有一個航向或者是航速表 是吧