銀行存儲系統設計方案

銀行存儲系統設計方案

1、背景：

某500強銀行目前依然採用CDC傳統的數據中心解決方案，隨着業務的變化和雲計算技術的的成熟，應用場景和需求變化越來越難以控制，銀行業務高速發展，原有平臺已經滿足不了目前的應用需求的大量迭代，同時設備和應用的運維挑戰難度極高。基於上述原因，總部決定構建CN大區全新的虛擬化（雲）平臺，採用成熟的虛擬化方案構建VDC基礎設施， 根據我們所學習存儲信息管理知識，設計一套虛擬化實施方案，考慮到業務的遷移的複雜性，默認不再使用原有設備(降低設計難度)，因爲是銀行業務需要100%的冗餘方案，儘量考慮容災，存儲部分設計按照基礎數據爲100PB設計，每年增長30%,設計一個滿足3年的容量規劃方案。 考慮指標點可參考: 存儲網絡的架構組成、存儲設備類型、主機配置（計算和存儲）、網絡拓撲、虛擬化後共享存儲容量的規劃、業務部門的劃分等因素。

2、需求分析

1.銀行的五個分區，生產業務區、綜合管理區、網銀在線區、產品測試區、運維基礎區，產生的數據主要都是非結構化數據，每個區的權限與資源分配也應該有些差別，如果虛擬化方案成熟，可考慮直接構建私有云環境。

2.網絡拓撲設計需要保證足夠的帶寬，需要注意網絡訪問存在着工作的高峯和低谷期。同時，系統設計要考慮硬件冗餘和集羣等設計。

3.銀行對於數據保存的要求是比較嚴格的，所以對於RPO（恢復點目標）和RTO（恢復時間目標）的要求都較高，所以必須保證RPO接近於0，儘量沒有數據丟失，RTO儘可能小，可以容忍一小段時間的宕機。

4.系統需要具有高擴展性，而且以虛擬化部署爲主。

5.銀行數據都是很很強的隱私性，所以必須保證數據安全。

3、主要工作目標：

1、目標設計

基礎設施應滿足根據不同業務實現每個分區個性化配置；數據保存應滿足近零的RPO、儘可能小的RTO以及儘可能高的數據完整性和安全性；整個系統應滿足高擴展性，並一虛擬化部署爲主；容災應滿足業務連續性。

2、存儲方案設計

基礎設施

由於每個分區業務不同，因此性能需求和虛擬機分配數量也就不同，分配方案如下：

1. 生產業務區：銀行的業務總體可以分爲需求設計，資產業務、中間業務三類，因爲處理的業務較多，且資源消耗量也較大，每類任務都部署一臺配置較高的虛擬機作爲終端服務器，並需要根據操作員人數分配相應數量的終端，從而滿足每類業務異構性的需求，使一臺服務器可以對應多臺終端，這樣所需的主機資源數爲終端服務器數與相應終端數的和；

2. 綜合管理區：綜合管理區類似於傳統的信息管理系統，因爲需要進行信息方面的管理，整個信息的吞吐量以及資源的需求量都比較大，因此需要爲其分配一臺配置較高的虛擬機作爲終端服務器以及滿足數量需求的虛擬機；

3. 網銀在線區：網銀在線區承擔銀行的網銀業務，特點是訪問量隨時間變化較爲明顯，所以需要根據當前實際網銀業務訪問量動態調整虛擬機的數量，從而對網銀業務實現負載均衡。同時由於網銀在線區的虛擬機需要作爲Web服務器使用，因此網銀在線區的服務器需要承載更高的業務量，這也要求每臺虛擬機需要更高的配置；

4. 產品測試區：產品測試區需要爲銀行的新產品進行測試，但是總的業務量和資源需求比較少，所以爲每個產品根據其需求分配一臺服務器終端服務器/Web服務器，在分配時需要根據業務的實際需求，分配配置儘可能與生產環境近似的虛擬機；

5. 運維基礎區：主要是對上述的幾個區提供運維服務，負責將每個區的數據存儲到主機中，因爲運維，運維基礎區需要對生產業務區、網銀在線去、綜合管理區、產品測試區提供運維服務，負責將各區數據存儲到主機中，需要儘可能穩定的網絡環境，但是對資源的需求較低，因此直接分配客戶虛擬機，分別對應生產服務區、綜合管理區以及網銀在線區的虛擬機。

數據保護

總的來說，應在數據的整個生命週期內進行數據保護。在數據被創建時，應當通過管理制度和技術手段確定數據安全級別；在數據存儲過程中，應當根據不同級別的數據採用不同的技術手段進行數據存儲，敏感數據應分環境，加密存儲；傳輸時，應對數據加密後進行傳輸，並採用加密協議；在數據使用完畢後，確保完善的技術和管理手段監控數據銷燬過程，以防止泄露。

1. 數據分級：

(1) 普通數據：指可以向外部披露的數據，其泄漏一般不會對銀行聲譽以及客戶帶來影響。單一普通級信息一般被認爲不敏感。例如從公開渠道或政府部門獲得的信息、或者在銀行網站上公佈的信息。包括客戶存貸款基準利率、交易匯率、交易渠道等；

(2) 輕度敏感：主要是銀行內部使用的數據，一般不被外部使用。該類數據對行內開放而非向公衆發佈。內部使用級數據在非授權情況下的泄漏將會對銀行聲譽以及客戶帶來一定程度的影響。包括客戶編號、客戶所屬機構、客戶所屬部門、個人客戶貢獻度等；

(3) 中度敏感：該級別所涉及的客戶信息對客戶很具隱私性，但是外部監管沒有明確的監管要求，該數據在非授權情況下的泄漏將會對銀行聲譽以及客戶帶來非常大的影響。包括客戶評級信息、合約信息等；

(4) 高度敏感：極度敏感級數據是指涉及組織重要的祕密，關係未來發展的前途命運，或涉及到個人信息保密要求，法律或國家監管對其披露進行了限制，這些數據在非授權情況下的泄漏將對組織根本利益有着決定性影響，造成災難性損失，導致銀行違反國家相關監管或個人隱私保護等法律法規，同時對客戶將帶及其嚴重的影響。包括個人資產負債情況、賬務信息、違約記錄、客戶證件信息、客戶通訊信息等。

2. 兼用事前預防（預防數據發生泄露）和事後阻斷（識別數據泄露並阻斷）的技術手段：

(1) 事前預防，採用透明加密，終端安全，磁盤加密等技術；

(2) 事後阻斷，採用網絡數據防泄露系統（網絡DLP），終端數據防泄露等技術。

(3) 給設備配置較安全的操作系統如AIX和虛擬化環境如OpenStack。

計算規劃

計算存儲成本，首先計算出三個存儲級別的數據量最大可能值：

2年後，總數據量約：100PB*1.3*1.3=169PB , 3年後總數據量約：100PB*1.3*1.3*1.3≈

容量規劃

考慮到銀行的運作模式，根據數據的時效性、業務需求的重要性、存儲系統的性能和價格，採用分層存儲，分爲三層——一級存儲、二級存儲、三級存儲，這三層讀寫速度降低，穩定性增強，相同價格下容量增大。

1. 一級存儲：使用2T NVME SSD 磁盤，RAID10陣列（利用率1/2），零RPO同步遠程鏡像，存儲一個月內使用過的數據。定義一個月內使用過的數據是使用頻繁的數據，需要工作級的存儲——在線存儲，即存儲設備和所存儲的數據時刻保持在線狀態，可以隨時讀取和修改，以滿足前端應用服務器或數據庫訪問數據的性能需求。一方面使用NVME SSD磁盤，提高訪問速度；另一方面使用具有三組相同鏡像集的RAID10陣列，增強數據穩定性和安全性；

2. 二級存儲：使用2T SAS 15000轉磁盤，RAID5陣列（利用率（n-1）/n），分鐘級RPO異步遠程鏡像，存儲一月之外一年之內使用過的數據。對使用比較不頻繁的數據使用近線存儲，兼顧存儲性能、數據安全和存儲成本；

3. 三級存儲：使用12T SATA 15000轉磁盤，RAID5陣列，CAS架構，存儲剩餘數據。對一年內未使用過的歷史數據或備份數據進行離線存儲，採用有自愈功能的CAS架構對數據進行歸檔，以降低總體成本，降低存儲管理開銷，保障數據安全完整。

容災規劃

由於在存儲方案設計過程中已經充分考慮了服務器的存儲備份機制，本地的容災問題通常可以被及時解決，不會導致嚴重的後果。因此，在容災規劃中，重點考慮遇到重大災害，導致本地的系統和數據全部無法及時恢復時，啓用遠程容災方案。要實現完整的異地應用容災，既要包含本地系統的安全機制、遠程的數據複製機制，還應具有廣域網範圍的遠程故障切換能力和故障診斷能力。也就是說，一旦故障發生，系統要有強大的故障診斷和切換策略制定機制，確保快速的反應和迅速的業務接管。由於以虛擬化部署爲主，系統並不依賴具體硬件，所以容災規劃不需要考慮物理環境的搭建。不論是各生產系統還是容災中心，只要是具備虛擬化能力的數據中心，都可以部署異地虛擬化容災。

3、網絡架構設計

1. 安全架構採用“核心——邊緣”分區模塊化架構，包括三個功能區：

(1) 互聯網接入區：部署鏈路分擔設備、流量清洗、外網邊界防火牆；

(2) 業務區：部署網銀在線區服務集羣、RA服務節點、IPS、SSL卸載&服務器負載分擔設備、內網邊界防火牆；

(3) 數據中心內網區：部署生產業務區、綜合管理區、產品測試區、運維基礎區服務集羣。

4、虛擬化（雲）方案

採用分佈式存儲技術，使用OpenStack私有云平臺提供服務，計算存儲耦合聯動，實現整體架構上的分佈式。應用OpenStack雲管理架構的三大存儲模塊：

(4) Cinder支持存儲複製：雲管理員可以定義存儲策略來支持複製功能；

(5) Glance的多地域支持：新的映像選擇策略，允許Glance映像服務選擇最優的後端存儲空間；

Swift的容備：全局分佈式集羣特性異地容災，主中心災難後，在另外的數據中心有所有數據的副本；業務級雙活/多站點共享：數據在一個數據中心保存，在另外一個數據中心可以快速訪問到。將災備範圍擴大到整個Animbus OpenStack雲，通過對控制節點元數據的複製，恢復一個完整的雲環境，以及雲上的所有組件和業務系統，使得RTO儘可能小（若干秒）。