超融合架構(gòu)在產(chǎn)品檢測平臺建設(shè)中的研究與應(yīng)用

【摘 要】 超融合架構(gòu)具有部署便捷、管理高效、成本低廉、延展性好等特點。本文從傳統(tǒng)產(chǎn)品檢測平臺面臨的實際問題出發(fā)，論述了采用超融合架構(gòu)作為檢測平臺主體框架的必要性，分析和闡述了超融合架構(gòu)的工作機制及其優(yōu)勢特點，提出了一種以超融合架構(gòu)為底層驅(qū)動的產(chǎn)品檢測平臺建設(shè)方案。該方案構(gòu)建了測試資源池，重構(gòu)了3N+實驗網(wǎng)主體結(jié)構(gòu)，設(shè)計了三級容災(zāi)備份體系，并以典型產(chǎn)品檢測過程為例，闡述了在超融合檢測平臺上進行檢測環(huán)境快速部署和具體測試應(yīng)用的過程。以超融合架構(gòu)為基礎(chǔ)的產(chǎn)品檢測平臺可為測試人員提供標準化測試流程和批量化測試能力支持，有效提高了測試效率，能夠為產(chǎn)品檢測工作提供基礎(chǔ)支撐。

【關(guān)鍵詞】 超融合架構(gòu)    分布式存儲   資源池   虛擬化技術(shù)   產(chǎn)品檢測

1 引言

產(chǎn)品是構(gòu)成信息系統(tǒng)安全防護體系的最小單元，其功能、性能、穩(wěn)定性和安全性等各項技術(shù)指標是否達標，直接關(guān)系著信息系統(tǒng)整體安全防護效能的強弱，這就對產(chǎn)品檢測工作提出了更高的要求。而作為承載產(chǎn)品檢測工作的基礎(chǔ)設(shè)施，產(chǎn)品檢測平臺對測試環(huán)境和測試資源的管理與整合分發(fā)能力又直接決定了產(chǎn)品檢測過程的規(guī)范性和檢測效率。

傳統(tǒng)的產(chǎn)品檢測平臺采用的是一種“煙囪”式垂直體系架構(gòu)，即每類產(chǎn)品測試所需的操作系統(tǒng)、數(shù)據(jù)庫和應(yīng)用系統(tǒng)等測試資源均部署在獨立的物理服務(wù)器上，測試人員通過交換機調(diào)用相關(guān)服務(wù)器上的測試資源，并需要根據(jù)每類產(chǎn)品的檢測環(huán)境拓撲手動搭建測試環(huán)境，如圖1所示。

圖1 傳統(tǒng)產(chǎn)品檢測平臺的“煙囪”式垂直體系架構(gòu)

這類平臺以物理設(shè)備為基礎(chǔ)，按照檢測對象搭建檢測環(huán)境，能夠在接近真實使用場景下開展產(chǎn)品檢測。但隨著產(chǎn)品檢測數(shù)量的增加，這種方式越來越難以適應(yīng)工作需要，其不足具體表現(xiàn)為以下3點。

（1）資源利用率低。在傳統(tǒng)檢測平臺中，同一測試環(huán)境和資源只能為某個特定的測試對象服務(wù)，其他測試人員無法共享該測試環(huán)境和資源，導(dǎo)致無法對同類產(chǎn)品開展批量化測試，致使平臺的整體測試效率偏低。

（2）檢測環(huán)境復(fù)用性差。傳統(tǒng)檢測平臺的檢測環(huán)境或過于固化，容易產(chǎn)生資源浪費；或無法復(fù)用，每次測試都要重新搭建檢測環(huán)境，耗時費力。

（3）管理調(diào)度水平低。傳統(tǒng)檢測平臺的軟、硬件資源過于分散，容易形成資源孤島，缺少靈活統(tǒng)一的測試資源管理調(diào)度機制。

本文以超融合架構(gòu)理念為基礎(chǔ)，通過對典型產(chǎn)品的測試資源調(diào)度邏輯和檢測環(huán)境部署需求進行分析和研究，設(shè)計了一種以超融合架構(gòu)為底層驅(qū)動的產(chǎn)品檢測平臺，為產(chǎn)品檢測工作提供基礎(chǔ)支撐。

2 超融合架構(gòu)及其優(yōu)勢

2.1 超融合架構(gòu)的工作機制

超融合架構(gòu)（Hyper-Converged Infra-structure，HCI）是一種以標準的X86或ARM物理服務(wù)器為基礎(chǔ)，采用軟件定義的方式將計算、網(wǎng)絡(luò)和存儲等信息系統(tǒng)運行所必需的基本要素虛擬化，并通過專用虛擬化管理系統(tǒng)將之與負載均衡、鏡像同步、連續(xù)數(shù)據(jù)保護、快照管理、緩存加速、數(shù)據(jù)去重、數(shù)據(jù)壓縮、存儲管理和數(shù)據(jù)遷移等信息系統(tǒng)數(shù)據(jù)安全保護機制進行深度融合，形成一個獨立的工作節(jié)點，該節(jié)點在形態(tài)上表現(xiàn)為一臺超融合物理服務(wù)器（或稱“超融合一體機”）。

超融合工作節(jié)點是構(gòu)成主機控制接口（HCI）的最小單元。在實際應(yīng)用中，超融合工作節(jié)點之間一般通過網(wǎng)絡(luò)聚合成超融合工作節(jié)點集群，并采用分布式存儲技術(shù)將各個節(jié)點的存儲資源進行融合，形成一個具備統(tǒng)一存儲、集中管理、模塊化拓展和實時差錯校驗等特性的資源池系統(tǒng)，這就使得各工作節(jié)點之間無需相互依賴就可對外提供虛擬化的計算、網(wǎng)絡(luò)和存儲等服務(wù)，如圖2所示。

圖2 超融合工作節(jié)點集群

2.2 超融合架構(gòu)的優(yōu)勢

與傳統(tǒng)信息技術(shù)（IT）基礎(chǔ)架構(gòu)相比，HCI具備以下5點優(yōu)勢。

（1）系統(tǒng)部署更便捷。HCI將計算、網(wǎng)絡(luò)和存儲融合于同一物理服務(wù)器中，各服務(wù)器之間僅通過網(wǎng)絡(luò)交換機聚合形成集群，整個系統(tǒng)的組成元素簡單，部署過程方便快捷。

（2）硬件資源管理更高效。得益于流程化和自動化的硬件資源交付技術(shù)，HCI能夠按需索取集群系統(tǒng)的硬件資源，并能夠提供可視化的硬件資源分配情況，極大地簡化了對系統(tǒng)資源調(diào)度過程的人工干預(yù)，顯著提高了系統(tǒng)資源管理和調(diào)度的工作效率。

（3）信息系統(tǒng)建設(shè)成本更低，延展性更好。從理論上講，最少僅需要2個超融合工作節(jié)點就可以聚合成一個業(yè)務(wù)集群。因此，在信息系統(tǒng)建設(shè)之初可以按需采購對應(yīng)數(shù)量的工作節(jié)點，而不必考慮為后續(xù)業(yè)務(wù)擴展預(yù)留系統(tǒng)資源。當現(xiàn)有系統(tǒng)無法承載業(yè)務(wù)需求時，只需新增對應(yīng)數(shù)量的工作節(jié)點而無需中斷任何業(yè)務(wù)系統(tǒng)，就可以實現(xiàn)對信息系統(tǒng)的線性橫向擴展。

（4）系統(tǒng)穩(wěn)定性和數(shù)據(jù)安全性更有保障。超融合集群各節(jié)點之間采用分布式多副本存儲技術(shù)對本地存儲資源進行虛擬化，再經(jīng)集群整合成資源池，為信息系統(tǒng)提供存儲服務(wù)，并結(jié)合一系列即時同步等高可用技術(shù)，能夠在很大程度上消除因單節(jié)點故障而導(dǎo)致系統(tǒng)整體崩潰的隱患。此外，集成的負載均衡技術(shù)和容災(zāi)備份機制能夠為信息系統(tǒng)提供長期可持續(xù)的訪問能力，保證了數(shù)據(jù)庫等關(guān)鍵應(yīng)用和服務(wù)的安全穩(wěn)定運行。

（5）信息安全防護能力部署更靈活。HCI提供了強大的計算和網(wǎng)絡(luò)虛擬化能力，這就為虛擬防火墻等信息安全防護組件的部署提供了良好的運行條件。配合專用管理系統(tǒng)，可在可視化界面對信息系統(tǒng)的任意位置部署信息安全防護組件，部署過程更加靈活。

3 基于超融合架構(gòu)的產(chǎn)品檢測平臺設(shè)計

3.1 底層承載系統(tǒng)設(shè)計

圖3是一個產(chǎn)品檢測平臺的超融合系統(tǒng)集群，該產(chǎn)品檢測平臺采用了3臺超融合一體機作為整個平臺的底層硬件系統(tǒng)承載主體，為上層軟件系統(tǒng)提供其運行所必需的存儲、計算和網(wǎng)絡(luò)數(shù)據(jù)交互等基本條件，再通過交換機進行聚合，形成超融合系統(tǒng)集群。該集群是一個標準的最小超融合集群系統(tǒng)，能夠滿足基本產(chǎn)品檢測工作的硬件資源需求。隨著業(yè)務(wù)規(guī)模的不斷擴展，后期可直接在集群系統(tǒng)中加入新的超融合工作節(jié)點，即可完成對集群系統(tǒng)的計算、網(wǎng)絡(luò)和存儲資源的線性橫向擴增，且該過程不會對上層業(yè)務(wù)和應(yīng)用系統(tǒng)的運行產(chǎn)生任何影響。

圖3 底層承載系統(tǒng)

在網(wǎng)絡(luò)數(shù)據(jù)交互方面，得益于超融合系統(tǒng)集群提供的原生網(wǎng)絡(luò)虛擬化支持能力，集群系統(tǒng)內(nèi)部的所有虛擬服務(wù)器和虛擬主機之間均通過虛擬交換機、虛擬路由器等虛擬網(wǎng)絡(luò)組件建立虛擬以太網(wǎng)連接，此過程只需在檢測平臺的網(wǎng)絡(luò)部署界面繪制網(wǎng)絡(luò)拓撲圖即可完成部署。集群系統(tǒng)與外部設(shè)備、網(wǎng)絡(luò)的數(shù)據(jù)交互采用可拓展接入點方式實現(xiàn)。檢測平臺初期對外開放了2個接入點，分別對應(yīng)2個不同的邏輯域，它是被測設(shè)備（Device Under Test，DUT）接入檢測平臺的連接通道。若DUT需要多個邏輯域支持，可在檢測平臺上動態(tài)增減接入點數(shù)量。此外，每個接入點還可通過下掛交換機實現(xiàn)物理端口的橫向擴展，以滿足批量化產(chǎn)品測試的要求。

3.2 測試資源池的構(gòu)造

測試資源池是產(chǎn)品檢測平臺執(zhí)行檢測環(huán)境部署和產(chǎn)品檢測過程中用到的一切工具、應(yīng)用和數(shù)據(jù)資源的集合。現(xiàn)有性能和安全性測試儀表等硬件資源通過與超融合集群耦合，并在檢測平臺的資源池管理系統(tǒng)中添加對應(yīng)的控制協(xié)議和指令集，即可完成該設(shè)備的虛擬化映射，成為構(gòu)成測試資源池的一個獨立元素。現(xiàn)有Web應(yīng)用系統(tǒng)、漏洞靶機集群、測試套件等軟件資源以虛擬機為載體，一個虛擬機作為一個獨立元素，可承載了一個或多個資源。

所有元素由檢測平臺的資源管理系統(tǒng)統(tǒng)一管理，測試人員在搭建測試環(huán)境或執(zhí)行測試任務(wù)時，可根據(jù)需要自由調(diào)用每個元素，且一個元素可被多個測試人員同時調(diào)用，彼此之間互不干擾。此外，為防止元素被非法修改或破環(huán)，測試資源池針對每個元素建立了快照動態(tài)恢復(fù)機制，每個元素被釋放后，將自動恢復(fù)至初始狀態(tài)。

3.3 操作界面的設(shè)計

檢測平臺的網(wǎng)絡(luò)部署操作界面為測試人員執(zhí)行測試資源調(diào)度和虛擬檢測環(huán)境部署提供入口，其界面布局如圖4所示。

圖4 超融合檢測平臺的網(wǎng)絡(luò)部署操作界面布局

界面左側(cè)為測試資源池，里面的每個控件對應(yīng)一個元素；中間區(qū)域為檢測環(huán)境部署區(qū)，測試人員只需通過鼠標拖拽所需的控件，并繪制檢測環(huán)境的網(wǎng)絡(luò)拓撲即可完成虛擬檢測環(huán)境的部署；界面右側(cè)為元素的屬性配置面板，檢測環(huán)境部署區(qū)中每個元素的屬性根據(jù)其類型不同而有所差異，但基本要素（如IP、協(xié)議和端口等）相同。測試人員通過對屬性的配置，保證了檢測環(huán)境中各元素間的網(wǎng)絡(luò)連通性。

此外，虛擬檢測環(huán)境可被保存為模板，在執(zhí)行產(chǎn)品檢測時，只需調(diào)用標準檢測環(huán)境模板即可完成檢測環(huán)境的自動化部署，從而減少了搭建檢測環(huán)境的勞動投入，保證了檢測環(huán)境和檢測流程的標準化。

3.4 實驗網(wǎng)3N+網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

產(chǎn)品檢測平臺采用了以功能屬性為導(dǎo)向的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計理念，整體上將實驗網(wǎng)自上而下劃分為管理網(wǎng)（Management Network，MN）、資源網(wǎng)（Source Network，SN）和測試網(wǎng)（Testing Network，TN）3層，并對測試網(wǎng)賦予了多個子網(wǎng)域彈性擴展的能力，形成了以3層主網(wǎng)絡(luò)域為主體，測試網(wǎng)多子網(wǎng)域彈性擴展的3N+網(wǎng)絡(luò)結(jié)構(gòu)布局，如圖5所示。

圖5 3N+網(wǎng)絡(luò)結(jié)構(gòu)

（1）管理網(wǎng)位于3N+網(wǎng)絡(luò)結(jié)構(gòu)的最上層，是超融合集群和測試資源實現(xiàn)遠程管理、配置和調(diào)度的主干網(wǎng)。管理網(wǎng)配置了本地域名系統(tǒng)（DNS）和動態(tài)主機配置協(xié)議（DHCP）服務(wù)，并為每個管理站點分配了唯一域名。各管理站點由統(tǒng)一身份認證系統(tǒng)接管，測試人員通過身份認證后可直接接入對應(yīng)的管理系統(tǒng)，執(zhí)行系統(tǒng)和資源的管理調(diào)度。

（2）資源網(wǎng)是測試資源池對外提供數(shù)據(jù)、功能和服務(wù)的主干網(wǎng)，通常與DUT的業(yè)務(wù)接口連接，用于接收和訪問檢測平臺提供的測試報文、攻擊流量、辦公自動化（OA）服務(wù)等測試資源。基于測試網(wǎng)可實現(xiàn)測試資源的多節(jié)點遠程并行訪問，充分提高了測試資源的利用率。

（3）測試網(wǎng)能夠為DUT提供模擬實際應(yīng)用場景中存在的不同邏輯域、快速構(gòu)建多子網(wǎng)檢測環(huán)境的基礎(chǔ)網(wǎng)絡(luò)條件，可根據(jù)實際需要，利用虛擬局域網(wǎng)（VLAN）和VLAN隔離等技術(shù)將其劃分為多個邏輯子網(wǎng)域。DUT只需接入相應(yīng)的子網(wǎng)域，并調(diào)用對應(yīng)的虛擬檢測環(huán)境拓撲，即可快速完成檢測環(huán)境部署。

3.5 容災(zāi)備份架構(gòu)設(shè)計

在容災(zāi)備份層面，檢測平臺基于HCI原生的備份機制，結(jié)合現(xiàn)有的備份手段，形成了三級容災(zāi)備份體系，如圖6所示。

圖6 超融合檢測平臺的三級容災(zāi)備份體系

第一級是利用HCI原生支持的本地快照備份機制實現(xiàn)集群內(nèi)備份，可以根據(jù)業(yè)務(wù)重要性，配置定時自動快照備份策略，保證某一虛擬機在發(fā)生異常時能夠快速恢復(fù)。

第二級是利用Veeam等一體化災(zāi)備系統(tǒng)進行本地集群外備份，此過程可實現(xiàn)對虛擬機的輸入／輸出（I/O）級實時備份，當超融合集群出現(xiàn)異常導(dǎo)致整個系統(tǒng)崩潰時，該機制能夠保證集群中虛擬機個體的數(shù)據(jù)完整性，并能夠基于集群外備份副本快速覆蓋本地集群的故障點，保證本地超融合集群能夠從異常狀態(tài)中及時恢復(fù)。

第三級是遠程集群級備份，即在獨立的容災(zāi)機房中建立本地集群系統(tǒng)的實時遠程鏡像，當本地集群環(huán)境發(fā)生嚴重災(zāi)難（如集群系統(tǒng)突然斷電等）導(dǎo)致集群系統(tǒng)完全失效時，能夠立即切換至遠程集群鏡像，保證檢測平臺不間斷運行。

上述三級容災(zāi)備份體系由集群內(nèi)部拓展至集群外部，再延伸至其他地理空間，形成了由中心向周邊擴散的放射狀災(zāi)備架構(gòu)，能夠在最大程度上保證檢測平臺的穩(wěn)定性和可靠性。

4 產(chǎn)品檢測平臺的應(yīng)用實踐

本節(jié)分別以串聯(lián)部署、旁路部署和點對點部署3類典型部署方式的產(chǎn)品為例，闡述在超融合檢測平臺上進行檢測環(huán)境快速部署和具體測試應(yīng)用的過程。

4.1 串聯(lián)部署類產(chǎn)品檢測

防火墻、網(wǎng)絡(luò)入侵防御、安全網(wǎng)關(guān)等是典型的串聯(lián)部署類產(chǎn)品，這類產(chǎn)品的測試環(huán)境通常由管理端、內(nèi)網(wǎng)和外網(wǎng)3個域組成。以防火墻檢測為例，管理端與管理主機連接，對防火墻進行安全策略配置和管理，內(nèi)網(wǎng)域部署受保護的服務(wù)器，外網(wǎng)域向內(nèi)網(wǎng)服務(wù)器發(fā)起訪問請求，防火墻串聯(lián)部署于內(nèi)網(wǎng)和外網(wǎng)之間，對數(shù)據(jù)報文進行安全策略應(yīng)答。

根據(jù)防火墻產(chǎn)品的測試環(huán)境特征，在超融合產(chǎn)品檢測平臺上快速創(chuàng)建檢測環(huán)境，具體過程是：首先，將防火墻的管理端物理接口接入MN網(wǎng)（記為M端），并配置通過DHCP方式從檢測平臺自動獲取管理地址；然后，將防火墻的內(nèi)網(wǎng)域物理接口接入SN網(wǎng)，并在該物理接口上配置路由，建立與測試資源池（記為S端）的網(wǎng)絡(luò)連接；最后，將防火墻的外網(wǎng)域物理接口接入TN網(wǎng)，并在檢測平臺上生成一臺虛擬終端（記為C端），作為向服務(wù)端發(fā)起訪問請求的主體。通過以上步驟即可完成防火墻產(chǎn)品檢測環(huán)境的部署，如圖7所示。

圖7 串聯(lián)部署類產(chǎn)品在超融合檢測平臺上的測試過程

將完成部署的檢測環(huán)境保存為模板，下次測試時直接引用該模板即可完成測試環(huán)境的快速部署，實現(xiàn)檢測環(huán)境的即時復(fù)用。當需要執(zhí)行批量測試時，只需將DUT批量接入檢測平臺，并將內(nèi)網(wǎng)和外網(wǎng)域劃入不同的VLAN即可。

4.2 旁路部署類產(chǎn)品檢測

入侵檢測系統(tǒng)（Intrusion Detection System，IDS）、網(wǎng)絡(luò)審計等是網(wǎng)絡(luò)旁路部署類產(chǎn)品。以IDS為例，這類產(chǎn)品的測試環(huán)境通常包括管理端和偵聽端兩部分。管理端與管理主機連接，對IDS進行安全策略配置和管理；偵聽端通常以旁路方式連接至偵聽目標網(wǎng)絡(luò)鏈路一側(cè)，對網(wǎng)絡(luò)流量進行捕獲和分析。

在超融合產(chǎn)品檢測平臺上開展測試時，首先獲取管理地址（方法同4.1），然后將偵聽端接入SN網(wǎng)內(nèi)網(wǎng)絡(luò)分流（Network Packets Broker，NPB）系統(tǒng)即可完成檢測環(huán)境部署。攻擊行為由網(wǎng)絡(luò)攻擊模擬儀表產(chǎn)生，并通過NPB系統(tǒng)進行多路復(fù)制后分發(fā)至一個或多個IDS，一方面可實現(xiàn)對旁路部署類產(chǎn)品的批量化測試；另一方面，由于所有IDS捕獲的攻擊流量完全一致，保證了檢測環(huán)境和過程的一致性，如圖8所示。

圖8 旁路部署類產(chǎn)品在超融合產(chǎn)品檢測平臺上的測試過程

4.3 點對點部署類產(chǎn)品檢測

點對點部署類產(chǎn)品一般為基于B/S或C/S架構(gòu)的應(yīng)用類產(chǎn)品，此類產(chǎn)品大多為軟件形態(tài)，產(chǎn)品大多由安裝在主機中執(zhí)行產(chǎn)品防護功能的客戶端和安裝在服務(wù)器上、對客戶端進行配置管理的服務(wù)端2部分。

在超融合產(chǎn)品檢測平臺上開展測試時，可根據(jù)產(chǎn)品適配的操作系統(tǒng)創(chuàng)建對應(yīng)的客戶端虛擬主機和服務(wù)端虛擬服務(wù)器，并直接在網(wǎng)絡(luò)部署操作界面繪制虛擬網(wǎng)絡(luò)連接線路即可完成檢測環(huán)境部署。根據(jù)需要，還可以創(chuàng)建一對多、多對一和多對多的測試環(huán)境，尤其在多平臺兼容性測試時，其優(yōu)勢更為明顯，如圖9所示。

圖9 點對點部署類產(chǎn)品在超融合產(chǎn)品檢測平臺上的測試過程

完成測試后，關(guān)閉虛擬終端和虛擬服務(wù)器可自動回滾至初始狀態(tài)，為下個產(chǎn)品的安裝部署提供一個純凈的運行環(huán)境。

5 結(jié)語

產(chǎn)品檢測平臺是開展產(chǎn)品檢測工作的基礎(chǔ)設(shè)施，其對測試資源和環(huán)境的整合分發(fā)與管理調(diào)度能力直接決定了檢測工作的執(zhí)行效率和測試流程的標準化程度，同時也是產(chǎn)品檢測過程信息化和自動化水平的直接體現(xiàn)。

本文以HCI為基礎(chǔ)框架，提出了一種產(chǎn)品檢測平臺建設(shè)方案。該平臺以HCI為底層驅(qū)動，結(jié)合存儲虛擬化、網(wǎng)絡(luò)虛擬化和計算虛擬化技術(shù)，實現(xiàn)了對測試資源的集中管理和按需分配，以及對測試環(huán)境的可視化編輯和自動化部署，能夠為測試人員提供標準化測試流程和批量化測試能力支持，具有系統(tǒng)部署便捷、資源管理高效、建設(shè)成本低廉、系統(tǒng)延展靈活、系統(tǒng)穩(wěn)定性和數(shù)據(jù)安全性高等特點。

此外，在實際應(yīng)用中，受產(chǎn)業(yè)生態(tài)和自主硬件虛擬化運算性能等客觀條件的制約，該平臺尚存在一些不足，如對基于ARM、Mips等平臺開發(fā)的應(yīng)用系統(tǒng)的兼容性較差，對部分信創(chuàng)產(chǎn)品的測試支持不夠全面等。

接下來，我們將緊跟產(chǎn)品和技術(shù)發(fā)展趨勢，不斷優(yōu)化產(chǎn)品檢測平臺對各類產(chǎn)品檢測工作的支持能力。一方面，通過自動化測試工具的研制和應(yīng)用，進一步擴充測試資源池，提高檢測平臺的整體自動化測試水平；另一方面，通過融合私有云計算和云存儲技術(shù)，進一步優(yōu)化測試資源的調(diào)度邏輯，提升測試過程的執(zhí)行效率。同時，還要重點改進對自主軟硬件平臺和信創(chuàng)產(chǎn)品的支持能力，為建設(shè)管理科學(xué)、支撐面廣、自動化程度高的產(chǎn)品標準化測試體系提供基礎(chǔ)支撐。

（原載于《保密科學(xué)技術(shù)》雜志2023年4月刊）