国产在线丝袜-国产在线丝袜精品一区免费-国产在线一二三区-国产在线永久视频-亚洲福利视频一区二区三区-亚洲福利视频一区二区

其實市場分析機構此前都沒怎么提過基于事件的視覺技術，不過IDTechEx在今年7月比較罕見地在圖像傳感器技術10年報告中，提到了基于事件的視覺技術——IDTechEx預計基于事件的視覺傳感器芯片，未來10年會達成每年2000萬美元的市場規模...

圖像或視覺傳感器這兩年一直都是熱門領域，即便其應用場景支撐力之一的手機市場表現平平，還有華為被列入實體清單、新冠疫情爆發等干擾因素存在，這塊市場近2年的總體發展仍然相當有看頭。
不過當前我們關注的圖像/視覺傳感器主流，還是比較常見基于幀（frame-based）的圖像傳感器。EE Times美國和中國版此前刊發過不少文章談基于事件（event-based）的視覺/圖像傳感器——從市場來看，這還是個新興領域。不過基于事件的視覺技術，或者叫神經形態視覺技術（neuralmorphic vision technology），其實發展年份也不算短了。
1991年最初有人提出silicon retina（硅視網膜）模仿人眼神經結構之后，基于事件的視覺技術研究其實就逐漸變得多樣。
可能大部分讀者對基于事件的視覺感知技術還很陌生，不過這種技術現在是CVPR這類視覺技術峰會的常客。今年年中的CVPR上，大約有15篇paper都是在談基于事件的視覺技術。
這個領域比較有代表性的公司如Prophesee、iniVation，這兩家公司分別是在2014、2015年成立的，到如今也有6、7年的歷史了。此前我們采訪Prophesee CEO Luca Verre的時候，他也談到基于事件的視覺技術發展并不是現在才開始的，只不過如今開始步入到了成熟期，對商用真正具備了價值。這兩年Prophesee在國內的市場動作正變得頻繁，這也可能是基于事件的視覺技術成熟的某種體現。
10年市場預期
有關基于事件的視覺技術本身，并不是本文要談的重點，此前我們也花了不少篇幅來介紹這類技術。簡單來說，基于事件的視覺/圖像傳感器，所有的像素是相互獨立、異步的，每個像素僅在感知到外界有亮度上的變化（達到一定閾值）時，才會輸出；應用這種技術商業企業的宣傳普遍說，其等效幀率因此達到了10000fps。
本質上這類圖像傳感器的特點，就是僅在檢測到外界的運動變化時才會記錄信息，且不記錄靜態信息。其主要價值大致上有幾個，其一是超低延遲，其二是不存在動態模糊，其三高動態范圍，以及超低功耗。另外對后端而言還有些附加價值，比如說產生的數據量，比一般基于幀的技術少很多。

像這樣的視覺/圖像傳感器，用來拍照肯定是不行了。但其特性決定了，它格外適用于高速避障、ADAS/AV，以及更多工業領域的視覺感知應用。就市場來看，這的確是個新興應用領域。
一般我們要觀察某一種技術是不是真的具備發展潛力，無非也就是看參與這項技術商用的企業發展情況，以及市場分析機構的預測和報告。
其實市場分析機構此前都沒怎么提過基于事件的視覺技術，不過在今年7月，IDTechEx比較罕見地在圖像傳感器技術10年報告中，提到了基于事件的視覺技術——IDTechEx預計基于事件的視覺傳感器芯片，未來10年會達成每年2000萬美元的市場規模。他們將目前的市場稱作“pre-revenue status”。
IDTechEx提市場發展動因，主要就是在談基于事件的視覺感知技術的幾個優勢，包括僅檢測場景的動態變化，后續數據處理更簡單，數據傳輸和處理的量顯著減少；高動態范圍，也就意味著畫面中的高亮度溢出情況顯著減少，而且夜晚超低照度的場景也沒問題等等；很高的時間分辨率——也就是所謂達到等效10000fps的幀率（如果按照基于幀的角度思考的話）。
基于事件的視覺感知技術雖然是沒有“幀”的概念的，但因為后端傳統算力平臺的限制，系統仍然會有個“時間分辨率”，只不過這個時間分辨率會顯著高于傳統基于幀的方案（比如傳統視覺/圖像傳感器60fps/120fps的時間分辨率）。
這家機構預測的市場應用也在于自動駕駛、ADAS、無人機的避障、導航。不過“這些市場仍然需要大量軟件開發和數據收集工作，來完整地利用基于事件的視覺數據”；“因此IDTechEx相信，具備更具可預測性的輸入數據的那些更小的市場，比如說AR/VR的虹膜追蹤、激光掃描（profiling），會成為基于事件的視覺技術最早的應用。”

Prophesee今年也援引過一份Yole Developpement的市場預測數據。Prophesee公布的這份數據在量級上看起來會更激進一些，如上圖所示。預計到2030年，在AI計算與感知市場，神經形態AI會占到8%，規模70億美元——這應該不只是說的基于事件的視覺技術；2035年則會增長到18%。

而基于事件的視覺傳感器，在整個CIS（CMOS圖像傳感器）市場上的份額，預計到2030年會達到9%——如上圖所示。從其應用構成來看，似乎從2023年開始，“Mobile”就會成為其中的主力。其他應用還包括IoT、工業、監控、汽車。在“Mobile”手機市場的滲透預測，還是有些出乎我們意料的。
市場在探索中成長
前兩年，三星申請了Dynamic Vision Sensor商標，主要應用于移動和平板——動態視覺其實是基于事件的視覺感知技術的另一個名字。iniVation也將自家的技術稱作動態視覺。iniVation預設比較早的市場應用是工業視覺應用——這和Prophesee的認識類似。我們以前在談工業4.0的時候，經常提到工廠生產的預測性維護（predictive maintenance），還有高速生產檢測等，動態視覺平臺據說就能實現高速3D基礎設施檢測。
前不久Prophesee在談自家傳感器的應用時，其實也提到了工業領域，這類方案可感知震動頻率、幅度，進行非接觸性震動檢測——比如對大型設備設施震動做長期觀察；甚至弧焊引導——因為基于事件的視覺傳感器動態范圍很大，焊點太亮也沒問題，依然可以引導焊頭位置走向。
這些應用其實都是基于事件的視覺技術低延遲、高動態范圍、高時間分辨率的體現。此前iniVation CEO Kynan Eng在接受EE Times美國版采訪時曾提到，工業視覺是相對低風險，但市場規模不大的應用方向。iniVation前年和三星合作，開始向機器視覺行業銷售完整的攝像頭——從單純出售芯片到更偏系統的發展。這是典型的市場參與者尋求價值擴大和探索。
iniVation認為，和三星這類CIS市場的巨頭合作能夠擴大其傳感器產品在機器視覺領域的應用范圍，將其擴展到更多的市場上，比如說食品、包裝、消費電子、汽車等。
其實Prophesee此前和索尼合作，一起推出堆棧式（stacked）基于事件的視覺傳感器，在市場上是更加廣為人知的。Luca Verre告訴我們，Prophesee和索尼合作推出的已經是Prophesee推出的第四代視覺傳感器產品了，主要是結合Prophesee基于事件的視覺感知技術，外加索尼的背照式+3D堆棧生產工藝，讓基于事件的視覺傳感器像素尺寸第一次做小到了4.86μm。這也算是基于事件的視覺，在技術上的探索了。

Prophesee的視覺傳感器
不過Prophesee預期中，未來10年基于事件的視覺感知技術將會大規模應用在移動市場上，這一點其實有些令人困惑。因為這類傳感器并不能直接用于拍照、攝影。Kynan Eng說要說服手持設備制造商，將這樣的傳感器放到手機里面去。“這對于高速變化的感知很有幫助，雖然可能很多人就只是想用手機自拍、拍攝食物而已。”
Luca Verre前不久在媒體溝通會上列舉的應用實例，包括幫助“改善手機拍照的質量”。因為一般基于幀的圖像傳感器受制于曝光時間，畫面中的高速運動對象會出現運動模糊。而基于事件的視覺感知技術有著很高的時間分辨率，前文就提到了它無懼動態模糊，所以將基于事件的攝像頭與傳統RGB攝像頭配合，就能實現運動偽像的消除。
不過我們還沒有親身看到過這種應用，不了解其實際效果如何。因為兩種技術的結合，在成熟應用上也需要完善的算法。許多應用雖然理論上行得通，但實際操作難度甚大。Luca Verre說Prophesee本身會提供這樣的算法。不知道未來1-2年會不會看到這樣的攝像頭在手機上問世。

Speck攝像頭模組
市場調研機構Yole分析師Pierre Cambou去年說，這類技術在“移動市場的窗口期會是2021或2022年。華為手機上有5顆攝像頭，但卻還沒有看到always-on（總是開啟狀態）的神經形態攝像頭。很多人常談到多光譜技術，但我一直在想的是實時感知能力（always-on awareness）。”
早在2019年，aiCTX和iniVation共同發布了一款名為Speck的低功耗神經形態SoC，主要面向手機和IoT市場。整個芯片包含了視覺傳感器+卷積神經網絡處理器。其目標應用場景，就是以超低功耗達成always-on總是開啟狀態的響應。
不知道類似預防運動模糊，以及始終開啟的視覺感知能力，未來在手機應用領域，會不會成為基于事件的視覺傳感器的殺手锏。我們認為，始終開啟的視覺感知能力在手機設備上可能會是個很重要的方向——它能實現大量玩法，比如手機息屏狀態下超低功耗的環境感知能力。這兩年可能就要見分曉。

近2-3年的關鍵市場發展期
在汽車領域，“因為我們的傳感器始終開啟，因為低延遲和不是基于幀的特性，能夠只檢測相關ROI，利用這樣的信息來補充其他各種技術，比如激光雷達。”其實在汽車應用上，Prophesee此前列舉的一個應用就是將基于事件的視覺感知，與激光3D Point Cloud掃描做配合，同時利用激光的精度與基于事件感知技術的速度，讓后者的傳感器去追蹤激光，并對掃描到的內容做3D建模，來分析路況。
這種技術已經應用在一種名為VoxelFlow傳感器技術上，是Terranet AB和奔馳一起開發的，其中的傳感器就是來自Prophesee。Prophesee上次發布消息是有關新一輪融資的，獲得C輪融資的資方背景包括小米、豪威等，還是能夠一定程度表明市場的主流參與者有將目光投向這種技術。雖然對投資行為而言，廣撒網一直是個常規。
Kynan Eng此前也提到了汽車應用，表達低功耗、低數據量對于提升汽車自動駕駛能力的價值。Yole對于神經形態計算市場的預測是，五年內達到6900萬美元市場規模，2029年50億美元；其中神經形態感知市場2029年達到20億美元——雖然可能不只是基于事件的視覺傳感器，不過這個預測量級還是遠大于IDTechEx的。
這2-3年可能將是考驗Prophesee、iniVation這些公司發展的關鍵，也是基于事件的視覺感知技術最終能否成為主流的關鍵。所以我們也不難看到Prophesee這類企業在中國國內開展更多的市場活動。基于事件的攝像頭這兩年會不會出現在消費電子產品之上，可能也是這個市場是否會如統計機構預測的那般做大的關鍵，我們也將持續做這方面的觀察。