自動駕駛決策系統的成熟，需要依靠從道路測試中持續收集足夠全面的數據，用於AI訓練系統中的模型訓練、算法優化和仿真，從而提高復雜場景下的應對能力，加速實現L4級別的運營能力。
並構建高效的自動駕駛？AI？訓練系統，除了高級算法和？GPU？除了計算能力，承載海量數據並與應用對接的數據平臺同樣重要。
本文通過介紹自動駕駛AI訓練場景的工作流程及其對數據平臺的要求，來闡述XSKY天合聯盟存儲解決方案如何幫助和服務自動駕駛企業用戶。
1，自動駕駛？AI學習場景工作流程
自動駕駛？AI？培訓負責數據處理和轉換。工作流程包括數據上傳、預處理、篩選、貼標簽、清洗和訓練。這些步驟將涉及海量數據的集中存儲、預處理(解密、幀提取、失真消除等。)，不同存儲系統之間的高速數據流，與第三方標簽平臺對接時的訪問控制，不同中心之間的數據傳輸。
2.自動駕駛AI學習系統中數據存儲面臨的挑戰。
當采集的數據量不斷增加，訓練效率需要提高時，就會對基礎設施層的數據平臺提出更高的要求，主要體現在三個方面:壹是海量存儲時的可用性和成本優化；第二是系統和平臺之間的數據交互；三是訓練鏈接存儲的極致表現。
當海量數據擴展時，持續優化數據平臺的可用性和成本。
通常，用戶將擁有至少數十Pb的數據和相應的數千億個文件。在這種背景下，存儲系統的靈活擴展、集群的最大支持規模、上傳數據時至少10GB/s的高吞吐量、易運維、存儲成本的優化這幾個方面的交集才是對存儲的挑戰。
數據跨平臺交互需求
大部分用戶會采用混合雲？它？架構模型，如何保證異構平臺間數據的順暢流動，如何在與第三方標註平臺的數據交互中實現數據權限的精細控制，也將成為新的挑戰。
培訓環節對存儲效率的要求
建立在？K8S？分布在？GPU？訓練機制壹次可以訓練幾百萬個小文件，存儲需要提供足夠高的數據吞吐帶寬和低延遲，以滿足上層計算能力的效率要求。
3.XSKY數據存儲方案如何響應場景需求？
XSKY天合聯盟對於自動駕駛AI場景的核心理念是:兼容用戶主流業務架構，數據平臺與上層應用無縫對接；符合業務未來演進方向，存儲深度優化滿足場景需求；
流暢並兼容主流業務架構
自動駕駛行業的許多客戶的基礎架構已經從公共雲模式轉變為混合雲模式。使用公有雲時自動駕駛嗎？AI？受過訓練？工作流程？大多圍繞“對象存儲+高性能文件存儲”的存儲組合來構建，實現業務應用的自動排列；
過渡到混合雲模式後，XSKY天合聯盟托管的私有化數據平臺的核心內容也是？對象存儲？+?高性能文件存儲，避開用戶？工作流程？改變，從而減少開發端的重復投資。
滿足業務場景的存儲可用性
存儲的可用性體現在靈活的容量擴展、無限的數據大小、易運維、跨平臺能力、滿足業務應用對存儲性能的要求。
靈活擴展，XSKY天合聯盟存儲可支持按節點、集群多模式擴展；
XSKY Trina後臺管理系統操作維護簡單，提供可視化界面，細粒度報警模塊，節點和數據全面監控能力；
跨平臺能力，XSKY天合聯盟對象管理平臺(XEOS)？支持與國內外眾多主流公有雲存儲對接，滿足數據流暢的要求。XSKY天合數據管理系統(X3DS)支持異構平臺的數據復制和遷移(如用戶股票數據的可靠遷移)；
性能方面，尤其是在數據訓練階段“多讀少寫”的場景下，對存儲吞吐量和延遲的要求很高。XSKY天合聯盟能過XGFS？分布式文件存儲，還是？辛芬尼？邢飛全閃存存儲壹體機提供支持，不僅滿足要求？GPU？對數據提取的嚴格性能要求，同時由於？XGFS？然後呢。辛芬尼？是國內第壹個可以支持的嗎？QLC？基於分布式存儲，可以充分利用？QLC？讀寫特性和成本優勢，大大降低用戶部署成本。
多項場景優化，提高訓練效率。
對象存儲？列表？性能優化，通過過濾和排序動作下沈，提高並發性等手段。，減少傳輸和匯總開銷，提高數據提取效率，提高集群在高負載下的穩定性；
XGFS？分布式文件存儲和完整？NVMe？什麽事？辛芬尼？存儲壹體機，可以分別用軟件交付，也可以用壹體機交付，是？GPU？培訓課程提供高性能文件存儲能力；
此外，還有獨立的元數據查詢服務和開放的內容處理框架等大量新功能，可以提高數據預處理和數據篩選的業務效率。
海量數據存儲的成本優化
XSKY天合存儲具有數據全生命周期的數據管理能力，其中存儲分類和數據壓縮功能可以將數據存儲在多個層，並可以根據數據的冷熱在多個池中自由流動。此外，高密度節點、藍光磁存儲壹體機、磁帶歸檔等存儲形式，可以大大優化用戶的存儲成本。
4.面向場景的XSKY天合聯盟將繼續發展。
在自動駕駛領域，存儲平臺對訓練效率的保障和海量存儲的成本優化將是長期的主題。XSKY天合聯盟將繼續投資並推出適合該場景的新功能，以幫助自動駕駛企業的用戶更高效地釋放數據價值。