国产在线丝袜-国产在线丝袜精品一区免费-国产在线一二三区-国产在线永久视频-亚洲福利视频一区二区三区-亚洲福利视频一区二区

聯發科這次也在會上提到“聯發科與ARM的深度合作以及經驗共創下，我們催生出新的GPU架構”；“我們這三年來一直在講移動光追，也很開心我們即將看到開花結果”...這些信號都表明，基于Immortalis-G715的天璣芯片不遠了。


遙想90年代，手機這類移動設備的圖形算力還弱得可憐，連智能手機操作系統UI的圖形加速技術起步其實都比很多人預想得要晚。而到現如今，移動GPU支撐的手機游戲已經成長為年產值數千億的產業。
基于Arm Mali GPU的歷史跑分（GFXBench T-Rex），2011年Android機皇三星Galaxy S2圖形性能差不多相當于去年谷歌Pixel 6手機的5%。這中間也不過10年時間。可能時間再往前拉一點，數據會更夸張——蘋果當年就說iPhone 6（2014年）的圖形性能達到了初代iPhone的84倍（2007年）。而聯發科、Arm、Imagination這兩年都已經開始宣傳移動GPU的光追了，真是今時不同往日。


這兩年聯發科召開天璣旗艦技術溝通會，都會將GPU和圖形相關技術當做重點去做分享。好像在天璣9000上市之后，聯發科在手機AP SoC市場的話語權就已經被改寫了——天璣9000剛剛發布之際，我就說這是聯發科暌違多年、嘗試重回旗艦與高端手機市場的開端。今年天璣芯片對高通驍龍系列的壓力似乎也是前所未見的。話語權的進一步拿捏，也就讓聯發科的技術路線在行業內更為舉足輕重；而聯發科的技術分享，可能也讓我們有機會把握新一年手機技術的走向。
而且似乎一般聯發科召開這種技術溝通會不多久，很快就會見到手機SoC新品問世——這就讓這種“溝通會”更像是下一代天璣旗艦芯片的技術預分享。那本文就主要來談談聯發科這次分享的手機GPU技術路線，來窺見未來幾個月可能會發布的天璣旗艦芯片GPU部分大致有哪些技術點。
支持硬件光追的天璣SoC不遠了
“光線追蹤”這個詞在移動市場大概已經預熱有3年了——雖然光追在PC和工作站領域逐步開始普及，但專門的光追加速單元在手機、平板之類的移動設備上還非常罕見。除了像Imagination這樣的IP供應商時有談起，“率先落地”的應該暫時也只有三星Exynos 2200了——用的是AMD RDNA 2架構——但恐怕其中光追加速單元暫時也沒什么用，畢竟今年也還沒怎么看到光追手機游戲的影子。
這兩年聯發科也頻繁提到光追，包括去年提到生態方面與Arm、騰訊游戲等上下游合作伙伴之間的合作。雖然我那個時候都仍然不清楚在芯片設計的硬件實現層面，聯發科究竟打算怎么做，但聯發科的技術發言人彼時就提到雖然在那之前的天璣芯片都沒有增加光追單元，但“這兩代就已經在為光追做準備，包括渲染指令運算、緩存機制，現在是融入在了IP里面的”。
實際上天璣9000就已經開始支持基于軟件的光線追蹤了，所以天璣9000發布會上也多少聽到聯發科提到了光線追蹤——但基本是蜻蜓點水式的。在光追游戲的“預備”和試水上，聯發科于天璣9000發布之際“推出光追SDK產品，我們的客戶也基于天璣系列產品，開發了一系列光追交互壁紙”。
這次的技術溝通會上，聯發科再度提到“從GPU內容開發的進展來看，基于移動光追的需求可能會有更大更廣的覆蓋”。“從前年到去年，我們持續跟游戲引擎合作的這些移動光追方案，目前都變成了手游開發者的標桿”。與此同時，“基于VR/AR的需求，移動光追技術也已經陸續在萌芽。”所以“光追技術已經不是專屬于高端游戲需求”...“已經越來越貼近用戶需求”，“沒有那么遙遠”。
今年年中ARM 正式對外發布了新的GPU產品線Immortalis，以及首款支持光追硬件加速的GPU IP，Immortalis-G715（以及包括更低端型號）。在ARM發布G715當天，聯發科就在推特上快速轉發了Arm的發布信息、表示祝賀，ARM還特別回復了聯發科。與此同時，ARM的Immortalis-G715的產品介紹頁面特別列出了聯發科的“合作伙伴證言”。這可能表明雙方在光追硬件加速的實現上，已經合作良久了。
聯發科這次也在會上提到“聯發科與ARM的深度合作以及經驗共創下，我們催生出新的GPU架構”；“我們這三年來一直在講移動光追，也很開心我們即將看到開花結果”...這些信號都表明，基于Immortalis-G715的天璣芯片不遠了。
聯發科的光追方案，可能與已有方案不同
有關Immortalis-G715的第四代Valhall架構，此前ARM的發布會上多少已經提及。此處只關注其中的光追部分——這的確應該是ARM的GPU IP首度加入專用的光追加速單元。
有關光追的基礎知識就不作科普了，像英偉達于PC端做光追的思路，就是給GPU增加RT core——這代Ada Lovelace架構就是每4個SM配1個RT core。這種RT core光追核心的內部有用于BVH（Bounding Volume Hierarchy）盒子遍歷，以及光線與三角形相交測試的專用硬件加速單元。


Imagination于移動端的Photon架構方案中RAC（Ray Acceleration Cluster）也有對應的光追加速單元。一個較大的差異在于，因為光追對算力需求大，像手機這類功耗敏感型設備不可能比照PC的方案。Imagination在RAC集群中增加了分析光線相干性——或者說將光線分組的Packet Coherency Gather。
ARM和聯發科的方案與上述兩者都有差異。Immortalis-G715自然也要開始用硬件加速單元，名為RTU（Ray Tracing Unit）——這對芯片設計企業而言似乎還是個可選項。而且值得一提的是，RTU是直接放進每個shader核心里面的，而不是像別家那樣是個外部的加速器。


RTU內部也包含了包圍盒與三角形相交測試加速單元。據ARM所說，這個RTU只占到shader核心不到4%的部分，但卻達成了相比于沒有光線追蹤加速，超過300%的光追性能增長——其實這個值就加速計算的維度來看并不多驚艷。
從RTU的占地面積，以及它不作BVH結構處理加速，就能看出Immortalis先期的光追支持沒有那么激進。這可能與Arm和聯發科走更低功耗、更小面積之路有關。
另外基于每個shader核心都帶RTU這一點，則更低階定位的Immortalis-G615也能支持光追——應了聯發科所說，不是高端游戲專屬，而是越來越趨向于大眾化的技術——只不過受限于G615所能堆的核心數目，光追性能自然也會顯著弱于G715。
這種方案特性也能反映聯發科在溝通會上反復強調的聯發科對于GPU圖形計算更專注在“能效導向”，“在能效導向的維度里，為了滿足移動平臺，需要考慮長效續航的需求，貼近終端用戶的體驗需求。在滿足能效導向需求以后，才會去嘗試堆疊出性能的部分。”
移動光追的技術和生態布局
可能更多同學比較關注的并不是誰家的光追硬件實現如何，而是移動光追游戲什么時候來，以及堆像RTU這樣的單元究竟有什么用。原本這兩個問題大概需要等到Immortalis-715上線以后，生態被培養起來，我們才會了解。不過這次聯發科提到的光追技術布局和要達成的最終效果，大概能夠稍稍解答這兩個問題。
首先是主流的移動光追游戲什么時候來的問題。我當然不知道確切的時間，無非也就是明年或后年。但這個問題更本質之處在于手機游戲的光追生態建設情況如何。聯發科表示早在2020年12月就“提前布局Ray Query技術方案，啟動生態合作”。
在Vulkan世界里，要做光追有兩種選擇，分別是用ray tracing pipeline和ray queries。后者可在任意shader階段用于執行光線遍歷并返回結果。網上能找到一些有關ray tracing pipeline和ray queries的比較。似乎SIGGRAPH 2019上，還有專家特別談到過ray tracing pipeline的諸多問題，有興趣的同學可以去找一找。


聯發科表示：“我們采用Ray Query方案來縮小和開發者切入的困難點。這些經驗可以反饋給硬件實作者，也就是GPU IP廠商，加速他們的光追硬件開發和驅動開發。今年初Khronos也發布了Vulkan 1.3標準——基于新標準的發布，聯發科的自研方案也可以無痛切換到行業標準上繼續推進。”這也是大范圍生態培養的基礎。
另外聯發科也提到了Immortalis-G715硬件級光追。除了RTU以外，也包括GPU本身其他架構層面帶來的性能提升，包括浮點算力的提升、三角形輸出能力提升3倍、帶寬需求優化。這些也都是實踐移動光追游戲，以及其他更復雜游戲場景的基礎。
再有就是生態布局上，“與評測工具聯合推進光追生態”；以及“協助開發者和硬件廠商定位合理的性能目標”。不過這個部分聯發科談得并不多。其實移動光追生態能做起來的基礎，關鍵仍然在于游戲開發者。想必到新一代手機AP SoC發布之際，像聯發科這種企業應當也會找對應的游戲開發者來站臺。


那么第二個問題：光追加速硬件單元究竟有什么用。尤其是像Immortalis-G715這種應用RTU方案所能達成的效果。聯發科雖然沒有說Immortalis-G715的光追硬件加速能帶來什么，但他們也提到了自家布局移動光追期望達到的3個基礎功能——差不多就等于回答了這第二個問題。
這3個基礎功能分別是光追軟陰影、光追反射效果、全局光照。全局光照是去年聯發科在溝通會上提到的一個重點，當時主要是說開放世界游戲需求全局光照的優化方案，因為這類游戲場景與角色間互動很多，動態光源需求也多，而且部分游戲還有時間系統——則場景變化就很豐富，需要很細致的光照計算。這次談得主要是間接光源對畫面暗部處理加強，增加場景的真實感。
另外兩個屬于光追可達成的固有特性。有關陰影的呈現，“用光追得到的反射效果會更為真實”，這一點我前年就撰文探討過。Imagination和英偉達早兩年做光追效果宣傳時都提到純光柵管線計算，常規可獲得的陰影都不夠真實。其實要達成陰影邊緣模糊效果（penumbra），依靠純光柵也有可行的方案，但需要引入額外的特性或技術，不僅算力開銷不小，而且得到的陰影還未必是正確的。光線追蹤在解決這類問題上有天然的優勢。
光追反射效果也大致相似，光追“可以比較真實地計算出這些物體相對應反射的角度和位置。”前兩年好像大家更喜歡拿來形容光追帶來反射效果真實性的，是處在畫面外的部分也可以反映到畫面中高反光材質的反射。當然目前還不清楚移動光追前期在這方面可達成的實際效果，但總的來說也都是讓光影效果更貼近真實。
移動GPU增效方案的構建和組成
光線追蹤當然只是GPU和移動圖形技術加強的一部分，超分、補幀這種屬于計算機視覺領域的技術現在也在GPU上大放異彩。主要是因為隨硬件圖形算力的增長，游戲開發者又大幅提升了畫面刷新率、分辨率以及內容復雜度的下限。
計算機科學領域一個亙古不變的事實就是無論硬件廠商提供多少性能，軟件開發者能立刻將這些資源吃干抹凈。聯發科也說現在游戲“內容復雜度是不可控的”，也就“多了對高畫質的需求”，“所以在移動GPU能效和算力上，會增加很多壓力”。


上面這張PPT給出了答案。為應對手機游戲內容復雜度的增長，聯發科多層面布局移動GPU增效方案。自底層硬件絕對性能提升，到平臺軟件優化、算法布局，以及在圖形渲染以外，借助AI、CV之類的技術來生成像素與幀，提升體驗。
所以（1）首先是“芯片性能每年的提升與能效的進化”，CPU和GPU“每年維持10-15%的進步”。
（2）其次是“生態”，“我們看到64位生態的推進”——這個說的應該就是自Arm Cortex-X2/A710/A510及之后CPU逐漸放棄32位支持，更全方位地轉向64位。這一點可能也預示著未來的天璣芯片對于Cortex-X3/A715的采用。ARM在前幾個月的發布會上就著重談到了“移動計算生態全面進入64位時代”，其中就包括游戲。聯發科給的數據是，“搭配64位游戲引擎升級，幀率平均提升16%”。
生態相關的部分也包括“Vulkan的推廣”。聯發科解釋說，“Vulkan本身就是為了達到內容本質上的降載目標”，深耕Vulkan生態是聯發科如今的一大策略——聯發科在此表達的應該是從芯片制造商的角度對Vulkan標準做出更快的響應和支持。據說聯發科的天璣生態實驗室“深度聯調提升Vulkan性能”，讓熱門游戲Vulkan性能平均提升10%。
（3）系統調度、驅動優化。“比如溫控穩幀算法，就是這個類型的增效技術”。這兩年手機OEM廠商對此宣傳還是比較積極地。
（4）自適應調度，或者說自適應框架的應用。“越來越多的軟件框架能夠達到系統平衡與內容開發的聯動。”比如說Google ADPF、騰訊TGPA、Arm Adaptive Performance。借助這種自適應框架，開發者能夠獲取來自系統、芯片的實時信息，然后對內容做實時的負載調整，這對性能和效率發揮會大有益處。聯發科認為這會成為未來的一大趨勢。
（5）平臺廠商的自研算法，如VRS（可變速率著色）、超分、補幀等。這些也是需要生態構建的。


當然，聯發科的技術分享會并不只是探討GPU與圖形技術，一整個下午的分享還涵蓋AI多媒體、5G 調制解調器、Wi-Fi無線網絡、無線藍牙音頻和高精度定位技術的相關發展趨勢——畢竟這些要么作為AP SoC的組成部分存在，要么有極大的關聯性，而且也都是時下熱點。
聯發科帶來的AI圖像語義分割、5G新雙通、Wi-Fi 7、高保真藍牙音頻、高精度導航等最新的前沿技術都還是挺有意思的——像是5G時代的“新雙通”就談到了聯發科在雙卡雙通之類的問題上在5G實施過程中遭遇的挑戰和做出的努力，后續有機會我可以單獨撰文來談一談。
似乎基于這些技術熱點的分享，大致也能勾勒出即將到來的下一代天璣旗艦芯片的大致樣貌了（最近有消息說是天璣9200）。尤其GPU部分，以上探討的所有內容都有大概率出現在天璣9000的后續手機AP SoC上。而“能玩移動光追手游”，有機會成為明后年智能手機的核心體驗。臨近年底，聯發科即將發布新品的消息不脛而走，下一代天璣旗艦芯片將為行業帶來哪些新的話題，讓我們保持期待。