汽車線路板廠了解到,攝像頭在智能汽車時代被譽(yù)為“汽車之眼”,如果沒有記錯的話是Mobileye開創(chuàng)了智能汽車基于AI底層的攝像頭的應(yīng)用,而馬斯克的特斯拉徹底把他發(fā)揚(yáng)光大了,這下汽車產(chǎn)業(yè)一發(fā)不可收拾的開啟了基于AI的攝像頭的競賽。那么智能汽車單車到底要用多少個呢?他們分別用在哪方面呢?智能汽車攝像頭技術(shù)和難點(diǎn)在哪里?
所以本文借用相關(guān)資料希望從以下幾個方面:
智能汽車單車到底要用多少個攝像頭?
智能汽車攝像頭分別用在哪方面呢?
智能汽車攝像頭技術(shù)原理是什么?
智能汽車攝像頭應(yīng)用的難點(diǎn)在哪里?
希望能給大家?guī)硪恍┯^點(diǎn)和思考。
智能汽車到底要用多少攝像頭?當(dāng)前L2++的智能駕駛攝像頭大概都在8-15個覆蓋整車的360度視覺,以及觸及艙內(nèi)乘員監(jiān)控。
根據(jù)yole的的數(shù)據(jù)表明:
在L1-2階段攝像頭大概1-2個。
到了L2階段攝像頭大概是1-5個。
到了L2++階段也就是現(xiàn)在攝像頭大概3-12個。
到了L3階段大概5-20個。
所以Yole的數(shù)據(jù)比較真實,未來單車的攝像頭數(shù)據(jù)都是十幾個。這個在手機(jī)消費(fèi)電子行業(yè)任憑你浴霸甚至整個手機(jī)都放攝像頭也比不了。
電池FPC廠問大家,覺得智能汽車攝像頭都用在什么地方?他的攝像頭都用在哪里?起到什么作用?
如上圖Yelo的圖片,車載攝像頭大概會用在如下四個方面,其實總結(jié)是三個方面:
智能駕駛環(huán)境感知 - 他包含兩個部分得攝像頭,一部分是環(huán)境感知攝像頭,也就是之前文章講得絕大部分;另外一部分是熱成像攝像頭用于夜視。
環(huán)境探測視覺呈現(xiàn) - 他包括三部分分別是 內(nèi)部后視鏡的替換,360度視野,一般360視野包含了倒車視野攝像頭,最后一個是行車記錄儀或者行車黑盒子,他與智能駕駛環(huán)境感知的差異是,環(huán)境感知是給機(jī)器看的,視覺呈現(xiàn)是給人看的,所以他們的技術(shù)特征不一樣。
駕駛艙監(jiān)控 - 他包括駕駛員監(jiān)控識別攝像頭和3D手勢識別攝像頭,也屬于輸入給機(jī)器的數(shù)據(jù)。
智能汽車攝像頭技術(shù)原理?
PCB廠了解到,人之所以看世界是五彩斑斕的,是因為人看到的全是來自外界物體的反射光。攝像頭的基本原理是類似于眼鏡通過傳感器接收來自于物體反射的光線。光線有人類看的見的可見光,也有人類看不見的NIR 近波紅外線,SWIR短波紅外線,而傳感器可以識別也就形成了各種夜視視像頭。
當(dāng)前攝像頭傳感器主要有CMOS 和CCD, CCD 相對于 CMOS 的優(yōu)勢在于其高感光度,高像素,高功耗為代價獲得更好的圖像質(zhì)量,所以一般用在單反相機(jī),而高功耗會導(dǎo)致熱量問題和更高的價格,另外CMOS讀取速度快,成本低所以當(dāng)前車載攝像頭都采用CMOS。另外還有夜視 (NV) 或高動態(tài)范圍 (HDR) 等對光高度敏感的專用芯片。
一般去選擇或者判斷攝像頭,都會考慮攝像頭的參數(shù)和配置,上圖為Sony車載攝像頭的參數(shù),應(yīng)該是蔚來汽車要采用的8Mp攝像頭參數(shù)配置,上圖中參數(shù)拋開由鏡頭決定的視場角(FOV)和電源信息,車載傳感器一般會有這些指標(biāo):
像素(megaPixels):像素可以決定看的多遠(yuǎn)多大,但對于AI 那么處理器需要信息越多。
幀數(shù)(fps),每秒獲取畫幅,這個汽車上體現(xiàn)的就是例如碰撞時間。
Dynamic range:測量了圖像傳感器在同一張照片中同時捕獲光明和黑暗物體的能力也即動態(tài)范圍越大,保留的高光區(qū)和陰影區(qū)信息越多。
如特斯拉的前視 1.2 Mp 1280x964 30fps ,就可以去解讀了,但在智能駕駛領(lǐng)域。其實攝像頭還根據(jù)可以感知顏色來分類,他主要是原因是CMOS 是一種光電傳感器只能感應(yīng)光的強(qiáng)度,不能區(qū)分光的波長(色彩),因此圖像傳感器需要通過色彩濾波(Color Filter)以獲取像素點(diǎn)的色彩信息。色彩濾波陣列,英文名 Color Filter Array 或 Color Filter Mosaic ,簡稱 CFA 或 CFM,是像素傳感器上方的一層馬賽克覆層,用于采集圖像的色彩信息。一般的光電傳感器只能感應(yīng)光的強(qiáng)度,不能區(qū)分光的波長(色彩),因此圖像傳感器需要通過色彩濾波(Color Filter)以獲取像素點(diǎn)的色彩信息。
生活中通常所用的攝像頭都是通過以下濾波(R = Red 紅色;C= Clear 不濾光;B=Blue ;G=Green 藍(lán)色)獲取顏色的。每個像素只能感應(yīng)一種顏色的光,但是我對外輸出的時候,需要知道這個像素的RGB值,我就只能通過周圍像素去計算,這個計算和轉(zhuǎn)換是靠ISP去完成的。進(jìn)從而得出我這個像素的RGB的值,這樣我每個像素雖然只感應(yīng)了一種光,但是每個像素經(jīng)過處理后傳輸?shù)酵饷婧缶褪怯蠷GB的信息了。
線路板廠了解到,當(dāng)前車載攝像頭CMOS 感知色彩有以下幾種:
RGGB也常縮寫成RGB,RGB是三原色,世間萬物的色彩鼻祖,所以這種攝像頭是生活常用的,也是視覺呈現(xiàn)常用的。例如360環(huán)視。
RCCC 最大限度提高光靈敏度,保留紅色例如紅綠燈和尾燈。RCCC 圖像看起來是單色的,無法記錄彩色圖像。三個透明濾光片為其提供最佳靈敏度,而紅色濾光片元件可識別來自剎車或交通信號燈的紅光。所以當(dāng)前大部分ADAS前置攝像頭采用這個方案包括特斯拉HW2.0。
RCCB 提高了光靈敏度和更少的噪點(diǎn),帶有一個紅色濾光片、兩個透明濾光片和一個藍(lán)色濾光片(見圖 2c)。但它分辨色彩的能力更好,采集的圖像既可以用于機(jī)器分析,也可以用于人眼觀察。所以當(dāng)前不少采用RCCB既保證光靈敏也保障了視覺屏幕輸出的需求,例如特斯拉的HW2.5之后的攝像頭以及蔚來ET5,ET7采用的索尼攝像頭IMX424。
HDI廠了解到,根據(jù)Yole發(fā)布的信息,對于參數(shù)和環(huán)境感知的色彩都影響攝像頭的數(shù)據(jù)量,從而影響數(shù)據(jù)的傳輸以及數(shù)據(jù)處理器的算力。