自動駕駛汽車立體視覺校準技術發展詳情
2023-2-14 10:53:38??????點擊:
早在 1800 年代后期就首次使用的立體視覺現在正進入自動駕駛領域,Nodar開發了一種算法來通過軟件對齊相機測量。不同于傳統的立體視覺實踐,將兩個相機靠近安裝在剛性金屬梁上以保持對齊,諾達爾的軟件可以在給定快速 GPU 處理器時通過信號處理保持對齊。
“立體視覺系統對相機之間的相對對齊非常敏感”,Nodar 的首席運營官兼聯合創始人 Brad Rosen 說。他補充說,“即使是百分之一度的偏差也會導致錯誤的測量。這就是為什么傳統的立體視覺需要一個剛性光束來固定相機。然而,這些系統可以‘看到’的距離被限制在大約 50 米,因為攝像機必須在橫梁上非常靠近地放置在一起。”
Rosen 表示,諾達爾的雙髻鯊立體視覺系統以雙眼間距最寬的雙髻鯊命名,與激光雷達系統相比,它在自動駕駛方面具有許多優勢。首先,相機比激光雷達成本低得多,分辨率更高,使用壽命更長。這使得它們適用于量產汽車市場。借助 Hammerhead,攝像頭可以獨立安裝在車輛上并相距很遠,使系統能夠“看到”前方很遠的地方(最遠 1,000 米)。Hammerhead 還可以與任何類型的相機一起使用。
使用 Nodar 的系統,在線校準需要大約 3 TOPS 的處理能力,并且每幀實時進行校準。該系統于 1 月初在 CES 2023 上展示,每秒可以創建 10 到 20 幀,每幀像素高達 500 萬。
Nodar引擎以2個攝像頭的原始圖像作為輸入,實時輸出高密度的3D數據,同時動態調整攝像頭的內外部參數。
“目前,Nodar Hammerhead 與 Nvidia GPU 配合使用,該系統有望以每幀 5 百萬像素的速度輸出每秒 20 幀。”羅森說。
軟件支持的對準將使汽車制造商能夠更自由地將攝像頭放置在汽車中——無論是在車頂、A 柱上、大燈旁還是側視鏡中。
Rosen 說,如果沒有現在可用的超快 GPU 處理器,十年前不可能實現軟件支持的處理。他補充說,戴姆勒等人進行的公開研究表明,在惡劣天氣條件下,立體視覺在光學系統中表現最佳(參見注 1)。
Nodar Hammerhead DevKit 發布
在今年的 CES 上,Nodar 推出了 Hammerhead DevKit,它使用了 Lucid Triton 5.4MP 攝像頭和 NVIDIA Orin Jetson 處理器。羅森表示,該公司多年來一直與歐洲汽車供應商和原始設備制造商合作,為汽車行業提供產品,他們希望今年宣布一些新的合作伙伴。Hammerhead 系統最有可能首先部署在 L4 級自動駕駛卡車上。
該公司已經在其他市場進行了許多概念驗證 (POC),這些市場可以推進自主運營:空中出租車、重型設備、建筑起重機、自主渡輪、個人劃船和自主農業。
羅森表示,該系統可以打開自動駕駛汽車的大眾市場,并在未來 10 年內加速采用多達 2.5 億輛 L3 自動駕駛汽車。
最重要的是,由于價值在于軟件,因此 Nodar 系統與攝像頭和計算平臺無關,Rosen 說,“硬件仍然需要滿足一些要求,但汽車級攝像頭和 GPU 能夠承載該系統.
Nodar 的寬基線立體視覺使系統能夠看到最遠 1,000 米的前方。對于自動駕駛卡車車隊來說,盡可能多地檢測高速公路上的任何障礙物至關重要。Rosen 表示,能夠遠距離檢測危險物體是 L4 級自動駕駛卡車運輸行業的一項關鍵要求,因為卡車碰撞通常是致命的,必須避免。
只要障礙物在攝像機創建的重疊視野內,系統就能夠檢測到 150 米外小至 10 厘米的小物體,或者例如高速公路上 350 米處翻倒的摩托車。
Rosen 強調,攝像頭可以安裝在汽車的任何位置,這使得該解決方案對于汽車設計而言非常靈活。
“立體視覺系統對相機之間的相對對齊非常敏感”,Nodar 的首席運營官兼聯合創始人 Brad Rosen 說。他補充說,“即使是百分之一度的偏差也會導致錯誤的測量。這就是為什么傳統的立體視覺需要一個剛性光束來固定相機。然而,這些系統可以‘看到’的距離被限制在大約 50 米,因為攝像機必須在橫梁上非常靠近地放置在一起。”
Rosen 表示,諾達爾的雙髻鯊立體視覺系統以雙眼間距最寬的雙髻鯊命名,與激光雷達系統相比,它在自動駕駛方面具有許多優勢。首先,相機比激光雷達成本低得多,分辨率更高,使用壽命更長。這使得它們適用于量產汽車市場。借助 Hammerhead,攝像頭可以獨立安裝在車輛上并相距很遠,使系統能夠“看到”前方很遠的地方(最遠 1,000 米)。Hammerhead 還可以與任何類型的相機一起使用。
使用 Nodar 的系統,在線校準需要大約 3 TOPS 的處理能力,并且每幀實時進行校準。該系統于 1 月初在 CES 2023 上展示,每秒可以創建 10 到 20 幀,每幀像素高達 500 萬。
Nodar引擎以2個攝像頭的原始圖像作為輸入,實時輸出高密度的3D數據,同時動態調整攝像頭的內外部參數。
“目前,Nodar Hammerhead 與 Nvidia GPU 配合使用,該系統有望以每幀 5 百萬像素的速度輸出每秒 20 幀。”羅森說。
軟件支持的對準將使汽車制造商能夠更自由地將攝像頭放置在汽車中——無論是在車頂、A 柱上、大燈旁還是側視鏡中。
Rosen 說,如果沒有現在可用的超快 GPU 處理器,十年前不可能實現軟件支持的處理。他補充說,戴姆勒等人進行的公開研究表明,在惡劣天氣條件下,立體視覺在光學系統中表現最佳(參見注 1)。
Nodar Hammerhead DevKit 發布
在今年的 CES 上,Nodar 推出了 Hammerhead DevKit,它使用了 Lucid Triton 5.4MP 攝像頭和 NVIDIA Orin Jetson 處理器。羅森表示,該公司多年來一直與歐洲汽車供應商和原始設備制造商合作,為汽車行業提供產品,他們希望今年宣布一些新的合作伙伴。Hammerhead 系統最有可能首先部署在 L4 級自動駕駛卡車上。
該公司已經在其他市場進行了許多概念驗證 (POC),這些市場可以推進自主運營:空中出租車、重型設備、建筑起重機、自主渡輪、個人劃船和自主農業。
羅森表示,該系統可以打開自動駕駛汽車的大眾市場,并在未來 10 年內加速采用多達 2.5 億輛 L3 自動駕駛汽車。
最重要的是,由于價值在于軟件,因此 Nodar 系統與攝像頭和計算平臺無關,Rosen 說,“硬件仍然需要滿足一些要求,但汽車級攝像頭和 GPU 能夠承載該系統.
Nodar 的寬基線立體視覺使系統能夠看到最遠 1,000 米的前方。對于自動駕駛卡車車隊來說,盡可能多地檢測高速公路上的任何障礙物至關重要。Rosen 表示,能夠遠距離檢測危險物體是 L4 級自動駕駛卡車運輸行業的一項關鍵要求,因為卡車碰撞通常是致命的,必須避免。
只要障礙物在攝像機創建的重疊視野內,系統就能夠檢測到 150 米外小至 10 厘米的小物體,或者例如高速公路上 350 米處翻倒的摩托車。
Rosen 強調,攝像頭可以安裝在汽車的任何位置,這使得該解決方案對于汽車設計而言非常靈活。
- 上一篇:ADI/亞德諾 集成電路、處理器、微控制器 AD9268BC 2023/2/14
- 下一篇:鴻海合資建印度晶圓廠有新消息 2023/2/14