項目概況
項目背景
舊數據時代,存儲主要面對數據庫、文件和流媒體等傳統應用,整體性能訴求較低。但在新興技術驅動下,存儲需面對云、大數據、AI等大規模數據應用型場景,挑戰日益嚴峻。
南京大學某課題組在人工智能科研中,正面臨著模型訓練數據的日益激增,其現存儲集群容量已達上限,傳統架構下的帶寬和IOPS也成為瓶頸,考慮到后期數據的持續性增長,課題組需對現有存儲集群進行改造及擴容。
解決方案
為助力客戶消除傳統存儲架構存在的性能瓶頸,進一步滿足人工智能場景下高帶寬、高并發的海量數據存取需求,超集信息為其部署了MatrixStore分布式存儲解決方案。
MatrixStore用數據通道與元數據通道分離的形式實現,且元數據服務器與數據存儲服務器可動態進行擴容,從而加大元數據服務器檢索能力及數據傳輸的性能。并且,元數據集群和存儲集群可以在線動態擴展,在擴展過程中無需中斷存儲系統上應用的運行,擴展的容量即插即用;擴容后數據自動遷移實現均衡,硬盤之間利用率差距不超過3%,充分發揮硬件性能。
客戶價值
通過MatrixStore構建的分布式存儲系統,不僅助力消除了傳統存儲架構存在的性能瓶頸,為客戶提供了提供全局統一的存儲系統映像和按需調配的存儲資源池,而且規避了原有集群中,數據在歸集、預處理、訓練、推理流程中的算力等待問題,提升了整體資源利用效率,有效推進了科研進程。