本文來自微信公眾號“twt企業IT社區”。
相較于傳統基礎設施,云計算以應用為中心,采用軟件定義一切的方式提供服務,這給研發和運維人員都帶來思維和習慣的挑戰。本議題將圍繞企業級存儲技術的發展趨勢、應用場景和特點等展開詳細討論,以期為信創背景下的云存儲建設提供一種思考和解決問題的新思路、新視野。
【欄目主編】Bryan某國有大型銀行資深架構師:本議題由某大型保險央企省級分公司信息技術科主管張曉斌、江西銀行系統架構師謝茜茜發表針對議題下關鍵點的主張,幾位專家的主張在某金融行業公司技術經理陳橙、某金融公司架構師劉艷春及我本人等多位專家的復議后,形成了一定的共識,希望可以對同行有一定的參考。
張曉斌 某大型保險央企省級分公司信息技術科主管:
當下的“信創云”技術,其實質是在信創背景下,以國產化中央處理器、國產化操作系統為基礎自主研發的云平臺,對下承接芯片、操作系統等軟硬件基礎設施,向上則支撐大數據、人工智能、物聯網等新一代的企業級應用,作為信息技術業界的新型基礎設施建設,其扮演著承上啟下的關鍵角色。
隨著信息產業技術的快速發展,信息技術創新變得愈發重要,發展信創應用是眼下國內經濟發展的新的動力,信創軟件將漸漸成為經濟發展轉型、產業鏈發展的關鍵。信創軟件應用將逐步滲透到各行各業,尤其是黨政機關等安全性要求較高的領域,而作為唯二的保險央企同樣不能置身事外。自2021年起,集團服務器、電腦及網絡設備等大宗采購結果表明,且可以從結果直觀地感受到,國產芯片的機器正扮演越來越重要的角色。
當下的“信創云”技術,其實質是在信創背景下,以國產化中央處理器、國產化操作系統為基礎自主研發的云平臺,對下承接芯片、操作系統等軟硬件基礎設施,向上則支撐大數據、人工智能、物聯網等新一代的企業級應用,作為信息技術業界的新型基礎設施建設,其扮演著承上啟下的關鍵角色。信創云眼下正是朝氣蓬勃的發展時期,其建設的核心基礎關鍵技術正在不斷優化升級,同時芯片、操作系統、數據庫等核心構件的適配能力也在不斷提升,為最終的落地應用提供了底層技術保障。從需求方面看,國家于去年年初出臺“2+8+N”相關政策引導,以城市云、電子政務云為重要熱點,逐步延伸至更多行業或領域。
一、信創云應用場景梳理(轉型的背后及其需求)
1.轉型的背后
作為保險業唯二央企之一,集團在信創方面的改革不遺余力。在2021年底,在信創項目中已將協同辦公平臺、郵件處理、乃至各業務部門的核心系統進行遷移,目的在信創平臺上試運行,從全國范圍內看,其效果也較為理想。2022年,集團不斷擴大信創集群規模,將更多的諸如不動產系統、反洗錢系統、印章管理系統、HR智慧系統甚至財務的智慧費控系統都遷移至信創平臺。
集團現有的IT基礎架構包括傳統的三層虛擬化架構、傳統物理服務器架構,以及公有云私有部署的專屬云等架構。信創平臺的構建,一方面,需引入信創服務器替換原有的Windows、Intel、Linux服務器,甚至具體至Linux其下的Centos或Ubuntu等系統,引入國產虛擬化替換VMware虛擬化,打造集團全國化的業務支撐平臺;另一方面,也希望針對原有傳統三層架構進行分布式轉型,實現IT基礎設施的分布式云化轉型升級。
2.技術路線和落地方案選擇
信創云的技術路線選擇和落地方案選擇可能會受到多個因素的影響,包括企業的業務需求、技術棧、現有的基礎設施和資源等,可從以下六點因素進行分析:
(1)云原生技術:選擇云原生技術可以實現敏捷開發、彈性擴展和高可用性??梢允褂萌萜骰夹g將應用程序與其依賴項打包為獨立的容器,然后使用管理工具(如Kubernetes)進行部署、調度和管理;
(2)微服務架構:采用微服務架構可以將復雜的應用拆分為多個自治的服務,各個服務之間通過API進行通信。這樣可以提高開發效率、降低耦合度,并能夠靈活部署和升級;
(3)大數據和人工智能:如果有對大數據處理和人工智能的需求,可以選擇相應的技術和平臺,如Hadoop、Spark、TensorFlow等,來處理和分析海量數據、構建智能推薦系統或者進行自然語言處理等任務;
(4)數據安全和隱私保護:在選擇技術路線和落地方案時,要特別關注數據安全和隱私保護??梢钥紤]采用加密技術、訪問控制機制、數據備份和災備方案等來保護數據的安全性和可用性;
(5)可擴展性和彈性:為了滿足業務發展的需求,選擇具有良好可擴展性和彈性的技術和方案非常重要??梢赃x擇使用云服務提供商的自動擴展和負載均衡功能,或者使用容器化技術實現水平擴展;
(6)整體架構設計:在選擇技術路線和落地方案時,需要考慮整體架構設計。這包括系統的高層設計、模塊劃分、數據流程等??梢圆捎妹嫦蚍盏脑O計思想,通過合理的模塊化和接口設計來實現系統的可維護性和可擴展性。
當前形勢下,保險信創的戰略意義凸現。保險業的信創改革,推動著國產軟硬件從“能用”到“好用”,解決信創建設的最后一公里,也成為保險行業需解決的核心問題。作為保險行業,主要傾向于選擇兩類架構:鯤鵬和海光。選擇鯤鵬的理由是鯤鵬基于ARM架構研發,芯片自研;海光則采用主流x86指令集,具備天然軟件生態優勢。對于保險業界而言,不再局限于多云多芯的搭配選擇,只需一套軟件可納管所有軟硬件資源,大大降低信創建設成本,同時解決信創適配難題。
因此,最合適的技術路線和落地方案需要根據具體的業務需求和技術條件進行綜合評估和選擇。在選擇之前,集團是經過充分的需求調研、需求分析和技術評估的,從而選擇適合發展和長遠規劃的方案。
集團雖然有使用基于公有云的專屬云,但是以此作為技術路線進行信創轉型則會有著規模大、投入風險高且必須依賴原廠運維等的問題,轉型風險較大。此基礎上,集團關注到虛擬化和分布式存儲融合部署的超融合架構,其具備輕量、可基于多品牌信創服務器軟件部署和統一部署與管理等優勢。
集團構建企業級云數據中心的底層資源池,包括高性能分布計算資源池、高性能數據庫性能資源池、存儲資源池、網絡安全資源池等,并向上完成了與麒麟操作系統、南大通用數據庫,以及東方通基礎類中間件的適配,構建了完整的信創云基礎設施環境。根據內部業務類型,共構建了三個集群,均可承載前述的郵件、協同辦公管理、采購平臺、電子印章、核心業務系統等多種系統。
集團計劃分三個階段完成信創轉型任務:一是完成郵件等辦公系統的改造;再者完成一般業務系統(電子印章、采購平臺等)的改造;最后完成難度最高的關鍵業務系統(核心系統、費控系統)的改造。在實際改造過程中,主要面臨的挑戰是:保險行業全國產信創云缺乏前人經驗,兼容性問題亟待完善,一切從零開始;基于國產芯片,云基礎設施軟硬件適配、操作系統適配、中間件和數據庫適配以及應用系統國產化改造。因此,需要一切較為成熟的主流的國產操作系統(麒麟、統信)、數據庫(TDSQL、TiDB等)、中間件(寶藍德、東方通)的適配并且互認證。以構建集團完整的信創云基礎設施環境。
二、詳細分析各類場景的功能和非功能性需求,理順信創+云原生背景下的產品需求
1.信創云的功能和非功能性需求
信創云是一個基于云計算和大數據技術的綜合性場景,用于支持信創產業的發展,旨在提供數據存儲、計算、分析、應用調度等功能,以滿足信創行業在處理海量數據、快速實施決策、深度挖掘價值等方面的需求。信創云場景的功能和非功能性需求的有如下幾點:
(1)數據集成和存儲:支持多源數據的采集、清洗、整合和存儲,包括結構化數據、非結構化數據和半結構化數據;
(2)數據處理和計算功能:提供高性能的計算能力,支持數據的批處理和流式處理,以應對實時性要求不同的場景;
(3)數據分析和可視化功能:提供數據分析和挖掘工具,支持多種統計分析、數據挖掘和機器學習算法。支持報表生成和數據可視化,以便用戶可以將分析結果以可視化的方式展示出來;
(4)應用調度和資源管理功能:支持任務的調度和作業的管理,確保任務能夠按時完成并充分利用資源。提供資源的監控和性能調優能力,以及故障自動恢復和負載均衡等功能;
(5)安全和隱私需求:提供數據的安全保護機制,如加密、訪問控制、權限管理等,確保數據的機密性和完整性。提供用戶身份認證和訪問控制功能,確保只有授權用戶能夠訪問和操作數據;
(6)可靠性和可用性需求:提供高可靠性的系統設計,確保系統的穩定性和可恢復性,減少因故障而導致的停機時間。通過冗余設計和故障切換機制,保證系統在故障發生時能夠繼續可靠地提供服務。
在信創+云原生背景下,產品需求應該基于云原生架構理念,采用容器化和微服務架構,以實現更高的可擴展性、靈活性和敏捷性。同時,還應考慮與其他信創相關產品的集成,以滿足本行業整體的布局。
我們還是以集團的核心業務系統的影像為例,核心業務系統作為理賠的核心平臺載體,我們更多地將關注重點放在影像數據傳輸。采用云原生超級引擎,讓更多的剛掃描進去的影像能讓全國各機構有權限的用戶秒級顯示和查閱,且不限用戶并發量。在云端全棧實現信創,確保平臺長期可靠、安全與穩定。自主創新的硬核技術,運營商級的應用安全保障,是保險業未來數年理賠服務的主旋律。“信創替換從桌面應用轉向更廣泛業務系統,而業務系統往往部署在云平臺之上,因此信創的建設就不得不考慮云平臺的信創替換。”尤其在數字化轉型背景下,云原生已經成為新一代企業數字化業務的云操作系統底座。
2.金融保險行業科技建設壓力大,信創助力科技發展
信創云操作系統一開始就是一個系統層面的改造而非單純的國產化替代,整個系統的改造是由系統平臺建設開始。金融保險行業有著錯綜復雜的業務形態,信創云操作系統通過把信創的硬件集群資源進行資源池化,解決了單個硬件資源性能不足問題;在主機故障時,不影響上層業務應用的穩定運行,能更好地適應和推動業務的快速發展。
當前信創基礎設施領域,多種技術路線并行發展,這些基礎設施軟硬件各有所長。為此,集團在選擇信創基礎設施時,不斷地在考慮各種風險因素和應對措施,同時選擇多種基礎設施軟硬件進行試點。通過云原生技術,讓集團可以輕松應對國產基礎設施領域的技術多樣性。
三、分析當前主流信創產品和現有成熟商業產品的對比及其差距
當前主流的信創產品分為硬件設施,基礎軟件,應用軟件、信息安全等幾大部分,涉及范圍廣,主流信創產品與現有成熟商業產品之間的對比和差距主要表現在以下幾個方面:1.技術方面:主流信創產品可以通過不斷地優化和提升性能,而現有成熟商業產品由于應用深入,很難再進行加強或改進;2.應用場景:主流信創產品應用廣泛,現有成熟商業產品則更多集中在傳統應用領域;3.可擴展性和靈活性:主流信創產品具有較高的可擴展性,可根據不同的需求進行定制和擴展。而現有成熟商業產品可能缺乏相應的可定制性,無法滿足特定場景需求。
有如常見的:OpenStack(下簡稱:OS)。公認的云計算IaaS平臺,OS管理的核心目標對象是機器,也可以是存儲和網絡。近些年容器技術迅速升溫,OS也開始通過各種方式增加對容器的支持,目前OS還未被作為容器管理的主流平臺。而Kubernetes(下簡稱:K8S):則適合搭建PaaS平臺,容器是K8S管理的核心目標對象。在部署上因為OS和K8s架構上存在一定差異,個人認為K8S相對OpenStack容易,搭建K8S的難點在于復雜的網絡問題。因此云計算還需要根據不同的應用場景設計不同的網絡方案。
總而言之,主流信創產品在技術、應用場景和可擴展性等方面相較于現有成熟商業產品有明顯的優勢,同樣有不足之處。隨著信創技術的發展和應用的推廣,主流信創產品的影響力和價值將進一步提升,并對傳統商業產品產生深遠的影響。
謝茜茜 江西銀行系統架構師:
存儲系統需要適應云時代多樣業務需求,承載更多的業務IO,支撐海量數據存儲,滿足更高的數據可靠性要求,提供更好的性能擴展性,保證關鍵業務服務級別水平,同時構建成本也需要兼具性價比。
隨著大數據和云計算的普及,信創硬件設備配置和性能不斷提高,越來越多銀行采用虛擬化和云計算的技術來構建IT系統,單位物理機上將有更高密度的業務系統運行,這也為后端存儲系統帶來了嚴峻的挑戰。存儲系統需要適應云時代多樣業務需求,承載更多的業務IO,支撐海量數據存儲,滿足更高的數據可靠性要求,提供更好的性能擴展性,保證關鍵業務服務級別水平,同時構建成本也需要兼具性價比。本文將詳細分析信創云存儲建設的各類場景,從而為銀行業信創云存儲選型提供參考。
一、銀行業信創云存儲的應用場景分析
不管云內還是云外,不同的業務場景衍生多樣化存儲需求,從而匹配相應的存儲方案。云技術只是一種新型IT基礎設施的組織形式,而決定數據存儲選擇的還是業務需求和應用需求。根據業務系統重要性等級及節點類型劃分,銀行業信創云存儲的應用場景主要有以下幾個:
1.重要交易/分析型數據庫場景
此類應用場景主要為核心生產和重要交易類系統數據庫,此類資源池主要為裸金屬資源池+FC SAN塊存儲的部署方式,存儲產品多為塊存儲,或者分布式存儲與集中式企業存儲相結合云硬盤。云硬盤的分布式存儲塊服務集群也可用于虛擬機部署、大部分系統的Web和APP部署等。具體如下圖所示:
圖1數據庫場景存儲資源池
由于該類業務重要程度比較高,計算單元主機一般采用標準服務器(2U/4U),采用全分區或虛擬化分區的方式進行部署,大多為資源獨占,架構簡單,虛擬化云平臺也可實現計算資源按需供應。服務器配置HBA光纖卡通過專用的光纖交換機同磁盤陣列連接,由于需要高效IO讀取,存儲系統則采用專用的光纖磁盤整列進行集中數據存儲。
2.交換平臺和內容管理場景
此類應用場景適用于海量小文件和非結構化數據,以實現性能型和多生態文件共享??捎糜赪eb服務器場景,主要包括OA應用,為網站、在線發行、存檔等各種應用存儲數據及提供信息等;軟件開發場景,主要包括使用云上資源承載完整的軟件開發流程,如代碼編輯、代碼檢查、編譯構建、集成測試、版本構建、代碼歸檔等業務。
這類場景存儲的大多是平衡文件和目錄元數據,涉及多級目錄,可達到幾百TB—PB級規模,存儲產品多為彈性文件存儲。具體如下圖所示:
圖2交換平臺和內容管理場景存儲資源池
該類業務重要程度較高,主要有一般數據庫、中小型分布式數據庫、中小型私有云等,計算單元主機一般采用標準服務器(2U/4U)組建的裸金屬資源池或虛擬化資源池,存儲系統采用服務器自帶磁盤直通模式,或企業級NAS。此類場景存儲可用性高,性能好,易于做容量規劃。
3.大規模數據存儲場景
此類適用于大數據、備份歸檔、備份上云、影像存儲、云原生等場景。該類存儲場景已經不需要目錄層級,采用分布式存儲池或對象存儲,達到幾十PB—幾百PB級規模,存儲產品多為分布式對象存儲。具體如下圖所示:
圖3大規模數據場景存儲資源池
該類業務由于需要處理海量數據,計算單元一般采用服務器虛擬化池,每臺服務器配置存儲網卡通過以太網交換機同分布式存儲池相連接,采用專用的存儲服務器實現集中數據存儲。這種存儲場景擴展能力強,網絡要求相對高,維護起來也相對復雜。
綜上所述,塊存儲與云硬盤主要應用于重要交易/分析型數據庫上云場景,彈性文件存儲用于交換平臺和內容管理場景,分布式對象存儲用于大規模數據存儲場景。
二、信創云存儲的產品需求
基于以上應用場景分析,信創云存儲的產品需求主要包括塊存儲和云硬盤、彈性文件存儲和分布式/對象存儲。
1.塊存儲和云硬盤
塊存儲能夠提供靈活的服務等級,豐富信創云的特性,重新定義企業級云上存儲。而分布式存儲與集中式存儲相結合的云硬盤是一種虛擬塊存儲服務,主要給計算單元提供塊存儲空間,像使用傳統服務器硬盤一樣,可以對掛載到云服務器上的云硬盤做格式化、創建文件系統等操作,并對數據做持久化存儲。
銀行業用戶對此類存儲的基本需求有三個,分別是高性能、高可靠、高安全。增值性的需求一般有支持共享卷、一致性快照組、云硬盤備份、云硬盤加密、存儲容災、在線擴容、專屬存儲、變更磁盤類型、回收站等。
在產業側,此類產品種類比較豐富,主要為各大品牌的集中式存儲,技術水平發展時間最長水平較高,市場相對飽和。
2.彈性文件存儲
彈性文件服務是一種共享文件存儲服務,為云服務器提供一個按需擴展、彈性伸縮的高性能共享文件系統,符合標準文件協議(NFS和CIFS),能夠彈性伸縮至PB規模,具備可擴展的性能,為海量數據、高帶寬型應用提供有力支持。
銀行業用戶對此類存儲的產品需求主要為:
1)彈性需求:容量按需分配彈性伸縮,根據配置文件系統初始存儲容量,文件系統會隨著業務的增長而擴容,此過程不影響業務應用;
2)高性能需求:支持多個VM并發訪問視頻、圖片;
3)特性需求:支持CIFS共享協議,支持NFSv4.1協議;
4)效率需求:支持NFS、CIFS、DPC多協議互通,免數據拷貝,提升應用間數據傳遞效率。在產業側,彈性文件存儲發展迅速,產品種類豐富,目前已廣泛應用于各類高性能計算、大數據分析、云計算等場景,成為一種高效、可靠的存儲解決方案。
3.分布式對象存儲
分布式對象存儲服務是一個基于對象的海量存儲服務,可提供海量、安全、高可靠、低成本的數據存儲能力,包括創建、刪除,上傳、下載、刪除對象等。分布式對象存儲適合存儲任意類型的文件,適合普通用戶、網站、企業和開發者使用。
銀行業用戶對此類存儲的產品需求主要為:
1)備份歸檔:要求高持久性、高擴展性和安全性,可結合備份軟件來備份和歸檔關鍵數據;
2)企業網盤:可對接第三方網盤應用,為企業網盤提供存儲空間;
3)鏡像存儲:可為鏡像服務提供存儲空間,存放虛擬機鏡像;
4)高擴展高性能:單節點小對象寫性能可達3000tps,單節點大對象讀性能可達1GB/s,集群性能隨節點數線性增加;
5)高可靠:支持節點級和機柜級高可用。同時可提供ACL控制、多版本控制、服務端加密、防盜鏈等多重防護;
6)易用性:支持REST API和SDK,兼容Amazon S3 API??赏ㄟ^HTTP或HTTPS輕松使用對象存儲服務。
在產業側,分布式對象存儲經歷了從早期分布式系統,到現代的云存儲服務和區塊鏈技術的結合,分布式對象存儲技術不斷進步,存儲系統也更加穩定可靠。
三、信創云的差距與挑戰
目前基于X86環境的云計算產品和平臺已經相對成熟,無論是私有云還是公有云都有很多廠商和眾多不同規模的成功案例。當前信創云的發展正處在快速迭代的過程,信創云周邊的生態也在不斷的完善。伴隨著CPU的版本升級,信創云的功能和性能也在不斷的向X86架構的產品接近。目前,筆者認為信創云和基于X86環境的云計算產品存在以下差距和挑戰:
1.信創云尚處于摸索成型階段
信創云建設起步比較晚,相對于國外差距至少有5年,目前尚處于摸索成型階段。在商用化方面,國外的云計算平臺商用化時間較早,大約在2006年亞馬遜的云平臺已經實現了商用化。國內商用化較早的就是新浪和阿里云了,也都是2009年之后才逐步走向平臺化和商用化的道路。
較之于國外廣泛、深入、成熟的云計算應用,國內的云計算應用尚處于探索階段,大規模的商用云計算時機尚未成熟。主要是因為大多數國產云計算產品和平臺都是基于開源社區產品進行的深度優化而成,信創產品并沒有在開源社區形成獨立的分支,目前基于信創的云產品都是各家廠商各自為陣,僅在自己擅長的領域進行適配和改造,這就造成了信創云生態體系建設的進度緩慢。
2.產品適配支持能力的挑戰
信創環境和X86環境本質的區別,是信創基礎硬件采用國產化CPU。由于CPU架構不同造成基于CPU的指令集不同,這就需要原X86環境成熟的云計算產品和平臺需要對信創環境進行適配改造。信創范圍內的CPU的指令集,比起X86架構的指令集無論在數量上還是在質量上都有待大幅的開發和優化,這就造成了基于X86的云產品不能順利的適配成功,有些功能需要等待指令集的進一步完成后才能形成完整的版本。
3.信創云運營服務的挑戰
與傳統的信息化建設和運維不同,云平臺的建設是邊建設邊運維邊運營,云平臺的能力是面向資源和面向服務的,這些運行方式和管理模式的改變給運維團隊提出了新的要求和挑戰。
目前信創云均更多集中于SaaS,提供基本的“軟件即服務”,而國外對云計算的應用則更加高階,出現了“以知識為服務”的模式。同時,國外云計算企業級應用更加具有針對性,云計算服務體系更加細化,針對不同客戶提供定制化的增值服務,云平臺的運營服務也做得更加細致。而信創云要做到優質運營,需要與上下游生態不斷磨合和沉淀,彼此助力共同成長。
盡管信創云在服務層次上與國外相比還有一段距離,但是我國的云計算發展已經處于“井噴”前最關鍵的時期,無論是云計算平臺的穩定性還是用戶的使用需求都在不斷的提升,銀行業要牢牢把握住云計算在國內發展的關鍵時期,促進信創云在行業內蓬勃發展。
結束語
面對云計算的發展需求,每個行業、每個企業都面臨產品選型、方案落地等一些共同問題的思考,也面臨一些本行業、本企業的個性化場景和需求。在本議題中,來自不同行業和企業的專家介紹了結合自身特點,分別介紹了云計算、云存儲和數據存儲應用的相關分析和建設經驗等,為關注該領域建設的企業提供了一種視角、解讀和方案思路。