分類: killtest

資料中心架構是現代設施、IT 和網路系統的複雜集成，這些組件協同工作以建立、設計和支援關鍵業務應用程式。這些系統是高度互聯的，需要對其設計和操作進行精心規劃和同步的方法。
資料中心架構包含了實體基礎架構（例如配電和冷卻系統）和 IT 基礎架構（套件網路架構、儲存架構、伺服器架構和雲端資料中心架構）的設計和佈局。它涉及對實體空間、電源和冷卻系統、網路連接、安全措施和軟體的詳細規劃，以確保 IT 資源和服務的最佳效能、可靠性和可擴展性。最終目標是創建一個高效、有彈性和安全的環境，用於承載現代企業和組織的關鍵 IT 基礎設施。
資料中心架構的元件
伺服器：根據其實體結構和大小分為不同的類型，包括機架式伺服器、刀鋒式伺服器和塔式伺服器
儲存系統：資料中心使用儲存區域網路 （SAN）、網路附加儲存 （NAS） 和直連儲存 （DAS） 等各種儲存技術來儲存和管理數據
網路設備：交換器、路由器、防火牆和負載平衡器在資料中心內和外部網路之間提供高效率的資料通訊和安全性
電力基礎設施：不間斷電源 （UPS） 系統、備用發電機和配電單元 （PDU） 為資料中心設備提供穩定可靠的電源
冷卻系統：機房空調 （CRAC） 裝置、液體冷卻系統和冷/熱通道密封可保持最佳溫度和濕度水平，使硬體正常運作
機櫃：資料中心使用的機架和機櫃包括開放式機架（兩柱式和四柱式機架）、封閉式機架、壁掛式機架和網路機櫃
佈線：結構化佈線系統，包括雙絞線電纜（用於以太網，如 Cat5e、Cat6）、光纖電纜（單模和多模）和同軸電纜
安全系統：生物辨識存取控制、監視攝影機和安全人員等實體安全措施，以及防火牆、入侵偵測/防禦系統（IDS/IPS） 和加密等網路安全解決方案可保護資料中心免受未經授權的存取和威脅
管理軟體：資料中心基礎設施管理 （DCIM） 軟體有助於監控、管理和最佳化資料中心元件的效能和能源效率
01、資料中心的網路架構
資料中心網路架構是指促進資料中心內通訊和資料交換的互連節點和路徑的設計和佈局。它包括網路設備（如交換器、路由器和電纜）的實體和邏輯佈局，以實現伺服器、儲存系統、防火牆和負載平衡器之間的高效資料傳輸。適當的網路架構可提供高速、低延遲和可靠的連接，同時提供可擴展性、安全性和容錯性。
幾十年來，三層架構一直是資料中心網路的標準模型。然而，另一種拓撲結構，即葉脊架構已經出現，並在現代資料中心環境中獲得了突出地位。此體系結構在高效能運算 （HPC） 設定中特別普遍，並已成為雲端服務供應商 （CSP） 的主要選擇。
以下是這兩種不同資料中心網路架構的比較：
▋三層資料中心網路架構
三層資料中心網路架構是一種傳統的網路拓撲結構，在許多較舊的資料中心中已被廣泛採用，通常被稱為「核心-匯聚-存取」模型。冗餘是這個設計的關鍵部分，除了幫助網路實現高可用性和高效資源分配外，還有從存取層到核心的多條路徑。

存取層：作為三層資料中心網路架構中的最低層，它可作為伺服器、儲存系統和其他裝置進入網路的入口點，透過交換器和電纜提供連接。存取層交換器通常以架頂式 （ToR） 配置排列，強制執行安全設定和 VLAN（虛擬區域網路）指派等策略
聚合層：也稱為分佈層，它整合來自存取層架頂式交換器的資料流量，然後將其傳輸到核心層以路由到其最終目的地。此層透過冗餘交換器增強資料中心網路的彈性和可用性，消除單點故障，並透過負載平衡、服務品質 （QoS）、資料包過濾、佇列和 VLAN 間路由等策略來控製網路流量
核心層：它也稱為主幹網，是網路的高容量中心部分，專為冗餘和彈性而設計，將聚合層交換器互連並連接到外部網路。核心層在 3 層運行，使用高階交換器、高速電纜和收斂時間較短的路由協議，優先考慮速度、最小延遲和連接性
伺服器虛擬化技術帶來的層間多跳延遲，會產生的大量的東西向（伺服器到伺服器）流量，傳統的三層資料中心架構難以有效處理, 同時還存在頻寬的浪費、故障域較大、難以適應超大規模網路等問題。
資料中心的流量總的來說可以分為以下幾種：
· 南北向流量：資料中心以外的客戶端到資料中心伺服器之間的流量，或資料中心伺服器存取網際網路的流量。
· 東西向流量：資料中心內的伺服器之間的流量。
· 跨資料中心流量：不同資料中心的流量，例如資料中心之間的災備，私有雲和公有雲之間的通訊。
在傳統資料中心中，業務通常採用專線方式部署。通常，服務部署在一個或多個實體伺服器上，並與其他系統實際隔離。因此，傳統資料中心東西向流量較低，南北向流量約佔資料中心總流量的80%。
在雲端資料中心，服務架構逐漸從單體架構轉變為Web-APP-DB，分散式技術成為企業應用的主流。服務的元件通常分佈在多個虛擬機器或容器中。該服務不再由一台或多台實體伺服器運行，而是由多台伺服器協同工作，導致東西向流量快速增長。
此外，大數據服務的出現使分散式運算成為雲端資料中心的標準配置。大數據服務可以分佈在一個資料中心的數百台伺服器上進行平行計算，這也大大增加了東西向流量。
傳統的三層網路架構是為南北向流量占主導地位的傳統資料中心設計的，不適合東西向流量較大的雲端資料中心。
一些東西向流量(如跨POD的二層和三層流量)必須經過匯聚層和核心層的設備轉發，不必要地經過許多節點。傳統網路通常設定1:10到1:3的頻寬超額比，以提高設備使用率。隨著超額訂閱率，每次流量通過節點時效能都會顯著下降。此外，第 3 層網路上的 xSTP 技術加劇了這種惡化。
因此，如果透過傳統三層網路架構運行大量的東西向流量，連接到同一交換器連接埠的裝置可能會爭奪頻寬，導致最終用戶獲得的回應時間很差。
▋Spine-Leaf 葉脊架構
脊葉架構，通常稱為 Clos 設計，是一種兩層網路拓撲，廣泛用於資料中心和企業 IT 環境。與傳統的三層網路架構相比，它為資料中心基礎設施帶來了多種優勢，例如可擴展性、減少延遲和提高效能。

葉子層：這些是接取層中的架頂式交換機，用於連接到機架內的伺服器和儲存設備。它們透過連接到每個主幹交換器形成一個完整的網狀網絡，確保所有轉送路徑都可用，並且節點在跳數方面等距
脊椎層：它們構成了資料中心網路的骨幹網，將所有枝葉交換器互連並在它們之間路由流量。它們不會直接相互連接，因為網狀網路架構消除了主幹交換器之間專用連接的需要。相反，它們透過主幹層路由東西向流量，以實現不同葉交換器上的伺服器之間的完全無阻塞資料傳輸
與傳統的三層架構相比，脊葉架構具有卓越的可擴展性、更低的延遲、可預測的效能和最佳化的東西向流量效率。它還透過高度互連提供容錯能力，消除了網路環路問題，並簡化了資料中心網路管理。
但是，Fabric 架構並非完美。葉節點網路設備無論是效能需求或功能需求，均高於傳統架構下的接取設備，其作為各種類型的閘道器（二三層間、VLAN/VxLAN 間、VxLAN/NVGRE 間、FC/IP 間等等），晶片處理能力要求較高，目前尚無滿足所有協定間互通的商用晶片；由於不存在相關的標準，為了實現各種類型網路的接入，其骨幹節點與葉子節點間的轉發各個廠商均採用了私有封裝，這也為未來的互通設定了難題。除此之外，還有：
獨立的 L2 Domain 限制了依賴 L2 Domain 應用程式的部署。要求部署在一個二層網路的應用程序，現在只能部署下一個機架下了。獨立的 L2 Domain 限制了伺服器的遷移。遷移到不同機架之後，網關和 IP 位址都要變。
子網數量大大增加了。每個子網路對應資料中心一條路由，現在相當於每個機架都有一個子網，對應於整個資料中心的路由條數大大增加，並且這些路由資訊要怎麼傳遞到每個Leaf 上，也是一個複雜的問題。
在設計葉脊網路架構之前，您必須先確定一些重要的因素。如，收斂比（即超額預訂比率）、葉交換機與脊交換機的比例、從葉層到脊層的上行鏈路、構建在第2層或第3層等。

02、資料中心的儲存架構
資料中心儲存架構是指儲存系統的設計和組織，它決定如何在資料中心內實體儲存和存取資料。它定義了實體儲存設備類型，如硬碟（HDD）、固態驅動器（SSD） 和磁帶驅動器，以及它們的配置方式，例如直連儲存（DAS）、網路連接儲存（NAS） 和儲存區域網路（SAN ）。此外，儲存架構還涉及伺服器直接或透過網路存取儲存資料的方法。
以下是資料中心儲存架構的主要類型：
▋直連儲存 （DAS）
直連儲存 （DAS） 是一種用於資料中心的數位儲存系統，其特點是與其支援的伺服器直接實體連接，中間沒有網路連接。伺服器使用 SATA、SCSI 或 SAS 等協定與儲存設備通信，RAID 控制器管理資料條帶化、鏡像和磁碟管理。

DAS 為單一伺服器提供經濟高效、簡單和高效能，但與 NAS 和 SAN 等網路儲存解決方案相比，在可擴展性和可存取性方面有其限制。
▋網路連接儲存 （NAS）
網路連線儲存 （NAS） 是一種專用的檔案級儲存設備，可透過區域網路 （LAN） 中的 TCP/IP 乙太網路為多個使用者和用戶端設備提供資料存取。這些系統旨在簡化資料儲存、檢索和管理，而無需中間應用伺服器。

NAS 提供了輕鬆存取、共享和管理的優勢，但由於其對共享網路頻寬的依賴性和物理限制，它面臨可擴展性和效能限制。
▋儲存區域網路 （SAN）
儲存區域網路 （SAN） 是專用的高速網絡，通常使用光纖通道協定將伺服器連接到共用儲存裝置。這些系統提供對資料中心內儲存的區塊級訪問，使伺服器能夠與儲存裝置進行交互，就好像它們被直接連接一樣，透過從主機伺服器卸載這些任務來簡化備份和維護等操作。 SAN 提供了高效能和可擴展性，但它們具有高成本和複雜的管理要求，需要專門的 IT 專業知識。

▋下一代儲存解決方案與技術
資料中心儲存領域正在湧現多種創新的下一代解決方案和技術，以滿足對效率、可擴展性和效能日益增長的需求。這些包括：
全快閃陣列：使用固態硬碟 （SSD） 取代傳統旋轉硬碟機 （HDD） 的高速儲存系統，提供卓越的效能和更低的延遲。此外，專為SSD 設計的儲存協定（如NVMe（非揮發性記憶體快速）和NVMe-OF（NVMe over Fabric））的採用率不斷提高，進一步提高了資料中心全快閃陣列的效能、減少延遲和吞吐量
橫向擴展檔案系統：一種儲存架構，允許透過添加更多節點來水平擴展儲存容量和效能，支援靈活性和易於擴展
物件平台：專為管理大量非結構化資料而設計的儲存解決方案，使用扁平命名空間和唯一識別碼進行資料檢索
超融合基礎架構 （HCI）：將儲存、運算和網路整合到一個框架中的整合系統，可簡化管理並增強可擴充性
軟體定義儲存 （SDS）：一種軟體管理和抽象底層儲存資源的方法，透過基於策略的管理提供靈活性和效率。 SDS 技術已被 Meta Platforms （Facebook）、Google 和 Amazon 等多家超大規模公司採用
熱輔助磁記錄 （HAMR）：一種資料儲存技術，它使用局部加熱來增加磁記錄密度，使更高容量的硬碟 （HDD） 能夠滿足現代資料中心不斷增長的儲存需求
03、資料中心的伺服器架構
資料中心的伺服器架構是指伺服器和相關元件的設計和組織，以有效處理、儲存和管理資料。
它通常可以分為以下幾類：外形尺寸（物理結構）、系統資源和支援基礎設施：
外形尺寸（物理結構）
機架式伺服器：這些是資料中心中最常見的伺服器類型。它們設計用於安裝在標準的 19 吋機架中，高度通常為 1U 至 4U
刀鋒伺服器：這些伺服器旨在最大限度地提高密度並最大限度地減少實體空間。多個刀鋒伺服器安裝在一個機箱中，共享電源、冷卻和網路等公共資源
塔式伺服器：雖然在大型資料中心中較不常見，但塔式伺服器仍用於較小規模的部署或機架空間不受限制的地方。它們類似於桌上型電腦塔，可以是獨立的單元
系統資源
CPU（中央處理器）：CPU是伺服器的大腦，負責執行指令和處理資料。它執行算術、邏輯和輸入/輸出運算
記憶體：RAM（隨機存取記憶體）是伺服器的主記憶體，提供對資料和指令的快速存取。它會暫時儲存目前正在使用的資料和程序
儲存：硬碟 （HDD） 或固態硬碟 （SSD） 等裝置會永久儲存資料和檔案。它們保存作業系統、應用程式、資料庫和使用者數據
網路：NIC（網路介面卡）將伺服器連接到網絡，從而實現與其他設備的通訊。它們處理資料包的發送和接收
GPU（圖形處理單元）：GPU 是專為平行處理和圖形渲染而設計的專用處理器。他們擅長處理計算密集型任務，尤其是人工智慧、機器學習和科學模擬的任務。但是，並非所有伺服器都需要 GPU
支援基礎設施
電源系統：電源單元 （PSU） 為所有伺服器元件提供穩定可靠的電源。它們將來自牆上插座的交流電源轉換為伺服器所需的適當直流電壓
空調系統：伺服器會產生大量熱量，冷卻系統確保組件在安全溫度範圍內運作。冷卻選項包括伺服器機房中的風扇、散熱器、液體冷卻和空調
主機板架構：這是將所有伺服器元件連接在一起的主要印刷電路板。它為 CPU、RAM、儲存和其他週邊設備提供必要的介面、匯流排和插槽
04、雲端資料中心架構
雲端資料中心架構是指在遠端資料中心內設計和組織運算、儲存、網路和資料庫資源，以實現雲端運算服務的交付。該架構基於虛擬化技術構建，允許高效共享和利用實體資源，以提供可擴展、可靠且靈活的基於雲端的應用程式和服務。
以下是雲端資料中心架構主要元件的細分：
運算：雲端運算服務為執行應用程式和工作負載提供虛擬機器 （VM）、容器和無伺服器運算資源。這些服務允許用戶按需配置和擴展運算能力，而無需管理實體硬體。例如，主要的雲端運算服務包括Amazon EC2，Microsoft的Azure虛擬機器和Google Cloud的運算引擎
儲存：雲端儲存服務為各種資料類型（如檔案、物件和備份）提供可擴充且持久的儲存解決方案。這些服務提供高可用性、自動複製和資料加密，以確保資料的完整性和安全性。流行的雲端儲存服務的範例包括 Amazon S3、Microsoft 的 Azure Blob 儲存體和 Google 的雲端存儲
網路：雲端網路服務使用戶能夠建立、配置和管理虛擬網路、子網路和網路安全規則。這些服務提供雲端資源、本地網路和 Internet 之間的連接，從而實現安全且有效率的資料傳輸。例如，關鍵的雲端網路服務包括 Amazon Virtual Private Cloud （VPC）、Microsoft 的 Azure 虛擬網路和 Google Cloud Virtual Private Cloud （VPC）
資料庫：雲端資料庫服務提供託管和可擴展的資料庫解決方案，用於儲存、檢索和管理結構化和非結構化資料。這些服務支援各種資料庫引擎，例如關聯式資料庫（例如 MySQL、PostgreSQL）、NoSQL 資料庫（例如 MongoDB）和資料倉儲。雲端資料庫服務可處理配置、擴充、備份和安全性等任務，使開發人員能夠專注於應用程式開發。例如，著名的雲端資料庫服務包括Amazon RDS，Microsoft的Azure Cosmos DB和Google Cloud SQL
05、實體資料中心設計
資料中心的實體架構和設計對於確保最佳效能、安全性和可靠性至關重要。
以下是實體資料中心架構設計的關鍵要素：
選址
地點：資料中心通常建在自然災害風險較低的地區，遠離地震、洪水和颶風多發地區
氣候：較冷的位置可以透過使用環境空氣來降低冷卻資料中心的成本，而較熱的氣候需要更節能的冷卻解決方案
交通：該地點必須方便工作人員進入，並靠近主要道路和機場，以便運輸設備和緊急應變
電源：可靠且具成本效益的能源至關重要。多條高壓輸電線路和變電站的存在對於電力傳輸很重要
線路資源：靠近主要光纖線路並擁有多個服務供應商，可實現更好的連接性
建築和結構
建築材料：資料中心通常使用耐用的耐火材料建造，例如混凝土、鋼材和專用牆板
結構：雖然單層資料中心較為普遍，但多層資料中心越來越多地建在土地可用性有限或房地產成本高的地區
天花板高度：高天花板高度（通常在 12 到 18 英尺之間）是必要的，以容納活動地板、架空電纜橋架和空調管道，同時為設備和維護提供足夠的間隙
承重能力：資料中心需要較高的地板負載能力，以支援重型伺服器機架、冷卻系統和不間斷電源 （UPS） 系統的重量。承載能力通常在每平方英尺 150 到 300 磅之間
內部佈局：資料中心的內部架構，包括柱子和隔間牆，在設施的整體設計和功能中起著至關重要的作用。這些因素會影響空間利用率、與冷卻系統相關的氣流、配電以及設備的運輸，以便進行維護
▋資料中心功能定位
資料中心的設計和建置基於各種架構因素，例如規模、用途、所有權和位置。通常的資料中心類型包括：
企業資料中心：由各個公司擁有和經營，以支援其特定的業務需求和應用程式。它們通常是量身定制的，這意味著它們是定制的，以滿足單一組織的特定需求。
主機託管資料中心：提供共享基礎架構，多個客戶可以租用空間、電源和冷卻，在託管設施中容納自己的 IT 設備。
超大規模資料中心：大型集中式設施，旨在支援超大規模供應商（CSP）和網路公司的需求。
邊緣資料中心：利用分散式資料中心架構的小型設施。邊緣資料中心位於更靠近最終用戶或資料來源的位置，旨在透過處理更接近其來源的資料來減少延遲並提高應用程式效能。
容器化資料中心：這些資料中心也稱為微型資料中心，是安裝在貨櫃中的模組化便攜式設施，提供靈活性和快速部署。
人工智慧 （AI） 資料中心：針對 AI 工作負載最佳化的專用設施，具有高效能運算、GPU（圖形處理單元）和液體冷卻系統。
來源：資料中心維運管理