元核雲自研架構高性能分散式存儲成功面市!

來源:南早網

  歷時三年自主研發,基於自研架構的元核雲青鸞分散式存儲系統V2.0正式發布。不同於市場現有的基於開源架構二次開發的存儲產品,青鸞存儲架構由元核雲獨創研發,真正做到百分百技術自研、自主可控,更加貼合國產晶元,解決國產化存儲落地最後一公里難題,實現全國產高性能存儲“零”突破。此版本的發布也標志着元核雲自主可控分散式存儲架構進入新的里程碑。

  青鸞(英文名:YESFS)是元核雲基於國產化晶元平臺設計研發的一款高性能分散式存儲系統,2.0版本的產品性能在國產化申威平臺實現了飛躍性的提升,採用了更適合申威多核架構的服務端線程模型設計,與申威平臺特性高度貼合。同時,在產品設計之初就充分考慮了晶元市場的多樣性,兼容X86平臺,具備完善的產品生態。

图片alt

  青鸞能夠充分釋放國產晶元的全部能力,具有兼容對象、塊、文件存儲的全部介面支持,滿足所有標準存儲系統需求的業務場景,多種創新設計,突破國產存儲性能瓶頸,全面超越傳統存儲,以高性能和高可用穩定支撐上層業務的數據需求。

  傳統存儲架構在國產晶元的弊端凸顯

  目前,在軟體定義分散式存儲領域,CEPH架構和類CEPH架構占據主流地位,其核心思想是以統一的存儲層,支持多種協議層擴展,其中數據分佈、一致性、擴展性等復雜設計,全部由統一存儲層來實現。

  此種架構的優勢在於:統一的存儲底座利於構建多協議統一存儲,無中心的元數據架構支持無限擴展能力,多種可選的開源方案易於構建二次開發產品。

  但其劣勢也比較明顯:跨網路的多層服務邏輯轉換帶來較高的IO延遲,動態數據映射對於集群的硬體穩定性過度依賴,開源軟體的功能過度臃腫,各模塊代碼質量參差不齊,對於產品研發團隊的技術能力挑戰非常大,自主可控性不足。

  青鸞汲取多年類CEPH架構產品研發、運營的經驗,取長補短,針對國產晶元平臺重新設計,摒棄華而不實的中間架構,從生產實用的角度重新構建,將產品的運維功能與後台功能納入整體設計,遵循一致的設計理念,化繁為簡,深度理解用戶需求,突破現有技術制約。

  · 充分釋放國產晶元的多核能力,帶來媲美X86的巨大性能突破

  · 貼近生產業務場景針對性優化,從業務方案加速國產存儲替換過程

  · 突破分散式存儲傳統能力邊界,延伸業務能力

  青鸞V2.0在性能上獲得突破性提升,其在X86平臺上的性能超過目前市場上主流的Ceph架構2倍以上;青鸞V2.0在國產化平臺的表現尤為凸顯,綜合IOPS、吞吐量、延時等數據,其申威平臺上的性能表現更是達到了Ceph類存儲產品的5-8倍,更高效、穩定的滿足用戶多樣性業務需求。

  創新架構,釋放產品極致性能

  青鸞以分散式文件系統為底座,採用扁平化架構,支持插件化設計,面向未來提供豐富的增值擴展能力,同時隔離物理運行環境,使得與外部平臺的融合更加順暢。

图片alt

青鸞整體構架圖

  簡單智能的運維體驗

  青鸞的交互體驗設計遵循極簡理念,運維人員只需掌握基本的伺服器運維知識,無需深入理解青鸞和存儲系統,即可做到輕松出色的運維。

  青鸞可以提供簡單便捷的存儲集群部署體驗,通過引導式流程,輕松幾步完成管理集群部署。而後以“向導+新手”的指引模式,引導用戶完成集群的初始安裝部署。集群附加插件以簡單的“啟用插件”流程,引導用戶完成譬如對象存儲插件、NAS插件的安裝,只需用戶提供最少的必要信息,以最簡流程完成自動的服務部署和啟動。高速並行的多節點初始化安裝,即使在大規模集群下,也能在短時間內完成環境搭建,過程全自動化,簡單快捷。

图片alt

  同時,智能監測集群狀態、服務狀態、硬體資源利用情況,異常狀態告警上報,便於運維人員瞭解集群真實狀態,並根據告警採取相應應對措施。統一的全局故障代碼定義,便於多方溝通時的快速問題確認。

图片alt

多平臺異構融合

  同一集群支持X86、申威的異構融合管理,可同時部署和管理不同類型主機。弱化主機架構約束,集群各組件可以靈活的分配到異構主機中,對外提供統一的存儲視圖,統一的命名空間。

  各種架構主機可以靈活擴展,沒有架構約束,沒有比例約束,便於異構集群向同構集群的漸進式演化過程。

图片alt

  數據多協議互通

  租戶的數據能夠以多種協議訪問,不論是NAS存儲、對象存儲還是塊存儲,均共享一份底層數據,且受到一致的數據訪問鎖控制,在底層真正做到跨協議數據的一致性保護。

  架構上採用扁平的數據共享模式,而非協議之間的搭積木式的協議轉換數據堆疊模式,各種協議能夠得到更一致的性能體驗。

图片alt

  高性能IO框架

  青鸞採用全旁路技術,針對NVMe SSD支持SPDK用戶態IO棧,支持RDMA網路技術,充分釋放硬體性能。

图片alt

  統一租戶體系

  青鸞的一體化設計,租戶不區分協議,文件系統、對象存儲、NAS、塊存儲等,全部共用一個租戶體系,享有一致性的數據許可權。簡而言之,租戶的賬號密碼可以用於登錄界面訪問,可以掛載文件系統,可以訪問對象存儲。每種訪問場景,僅支持訪問自己擁有的數據和其它租戶授權訪問的數據。

图片alt

  插件化架構

  青鸞設計上採用插件式架構,基礎版本為分散式文件系統。其他所有的附加功能,均以插件的方式進行集成。

  基於插件架構的極高靈活性,青鸞與生態產品的融合變得更簡單,青鸞也更容易被納入到既有的IT基礎設施體系,靈活的插件選擇可以帶來不同的產品形態,讓不同的用戶群體都能得到更好的產品體驗,量體裁衣,未來新的功能模塊擴展也不會對既有的青鸞平臺造成污染,這將為青鸞帶來更持久的生命力以及持續的穩定性表現。

  性能數據

  1、申威6B平臺

  以最具代表性的文件操作性能為例,對比CEPH、青鸞V1.2、青鸞V2.0的性能數據。下述為單台2NVME SSD + 10 HDD的申威6B伺服器下的實測數據取整。

图片alt

  可見,在申威6B平臺,青鸞2.0的元數據寫性能將近CEPH架構的5-8倍,元數據讀性能為1.5-3倍,具備巨大的提升。

  2、X86平臺與申威6B青鸞

  下麵的對比將同等配置下,CEPH架構在X86平臺(intel 至強 E52620 V4)性能,與青鸞在SW6B平臺性能進行對比,有很好的業務實用性意義。

图片alt

  可見,6B上的青鸞元數據寫性能為CEPH X86的80%-90%,二者基本一致。可以實現X86替代的使命。

  面向豐富應用場景,助力客戶核心業務成長

  HPC場景/AI場景

  青鸞為應對計算集群對文件存儲極致的性能要求,採用了自主設計的獨立高效的元數據存取訪問策略;縮短了IO訪問路徑,海量文件場景下文件訪問性能無衰減,且突破了以往單個命名空間可承載的文件數量限制帶來的瓶頸。通過文件系統性能的提升,使計算平臺持續處於高效率運轉狀態,從而縮短平臺運轉工作時間。

  面對AI場景,青鸞為AI業務提供一個橫向擴展的底層存儲平臺,可承載上百億KB級小文件,為機器學習平臺成千上萬的客戶端提供並發訪問支持,滿足AI訓練中計算集群高帶寬、低延時的訪問需求,使計算資源得到最大化利用,且在數十億文件數量下仍然能夠提供穩定的數據訪問性能,有效提升訓練效率。

  海量非結構化數據

  基於分散式文件存儲,提供底層扁平化的存儲管理服務;基於上層內容管理平臺,以標準RESTful介面提供高效的影像文件處理服務。

  大數據應用,平臺國產化對接申威

  基於自研SDK替代HDFS文件系統,解決大數據在擴展性、小文件存儲、元數據管理等方面的瓶頸,為Hadoop、Spark提供存儲服務,同時實現國產化對接基於申威的大數據平臺。

  雲平臺對接

  青鸞在分散式文件存儲的基礎之上,提供各種協議,支持CSI,為OpenStack、K8S等虛擬化及容器雲平臺提供存儲服務。

  同時,青鸞為用戶提供標準CSI插件無縫對接Kurbernetes,簡化使用流程,提升可用性和數據訪問性能,並以此提供眾多企業級功能,如支撐容器化AI訓練平臺,滿足業務使用、管理運維等方面需求。

  傳統NAS替代

  以分散式存儲架構,提供標準NFS/CIFS/FTP/POSIX服務,替代傳統NAS,突破性能、容量瓶頸。

图片alt

  產品的研發從來不是一蹴而就的,元核雲會繼續加大產品研發投入,深化分散式存儲技術的創新,增強產品功能,提升產品性能,並且採用多種冗餘策略強化產品安全性能,保障客戶業務底層的安全穩定。

  另一方面,青鸞將深化業務場景的探索,結合具體的場景需求做進一步的針對性調整與優化:針對高性能應用場景,升級全快閃記憶體儲陣列;針對國產化應用場景,逐步支持對多種國產晶元的適配。並且,青鸞將首先實現於軍工、政務等領域的規模化應用,賦能行業客戶完成全國產化替代,實現自主可控的總體目標。

  未來,元核雲將緊隨國家信息化建設總趨勢、總方針的引導,持續發力,堅定不移走自主可控的國產化道路,秉承獨立自主的創新精神,堅守自主研發的初心,打造新一代國產化分散式存儲,為自主可控長遠發展提供最堅實的數據底座!