資料中心五大核心架構設計

資料中心架構是現代設施、IT 和網路系統的複雜集成,這些組件協同工作以建立、設計和支援關鍵業務應用程式。這些系統是高度互聯的,需要對其設計和操作進行精心規劃和同步的方法。
資料中心架構包含了實體基礎架構(例如配電和冷卻系統)和 IT 基礎架構(套件網路架構、儲存架構、伺服器架構和雲端資料中心架構)的設計和佈局。它涉及對實體空間、電源和冷卻系統、網路連接、安全措施和軟體的詳細規劃,以確保 IT 資源和服務的最佳效能、可靠性和可擴展性。最終目標是創建一個高效、有彈性和安全的環境,用於承載現代企業和組織的關鍵 IT 基礎設施。
資料中心架構的元件
伺服器:根據其實體結構和大小分為不同的類型,包括機架式伺服器、刀鋒式伺服器和塔式伺服器
儲存系統:資料中心使用儲存區域網路 (SAN)、網路附加儲存 (NAS) 和直連儲存 (DAS) 等各種儲存技術來儲存和管理數據
網路設備:交換器、路由器、防火牆和負載平衡器在資料中心內和外部網路之間提供高效率的資料通訊和安全性
電力基礎設施:不間斷電源 (UPS) 系統、備用發電機和配電單元 (PDU) 為資料中心設備提供穩定可靠的電源
冷卻系統:機房空調 (CRAC) 裝置、液體冷卻系統和冷/熱通道密封可保持最佳溫度和濕度水平,使硬體正常運作
機櫃:資料中心使用的機架和機櫃包括開放式機架(兩柱式和四柱式機架)、封閉式機架、壁掛式機架和網路機櫃
佈線:結構化佈線系統,包括雙絞線電纜(用於以太網,如 Cat5e、Cat6)、光纖電纜(單模和多模)和同軸電纜
安全系統:生物辨識存取控制、監視攝影機和安全人員等實體安全措施,以及防火牆、入侵偵測/防禦系統(IDS/IPS) 和加密等網路安全解決方案可保護資料中心免受未經授權的存取和威脅
管理軟體:資料中心基礎設施管理 (DCIM) 軟體有助於監控、管理和最佳化資料中心元件的效能和能源效率
01、資料中心的網路架構
資料中心網路架構是指促進資料中心內通訊和資料交換的互連節點和路徑的設計和佈局。它包括網路設備(如交換器、路由器和電纜)的實體和邏輯佈局,以實現伺服器、儲存系統、防火牆和負載平衡器之間的高效資料傳輸。適當的網路架構可提供高速、低延遲和可靠的連接,同時提供可擴展性、安全性和容錯性。
幾十年來,三層架構一直是資料中心網路的標準模型。然而,另一種拓撲結構,即葉脊架構已經出現,並在現代資料中心環境中獲得了突出地位。此體系結構在高效能運算 (HPC) 設定中特別普遍,並已成為雲端服務供應商 (CSP) 的主要選擇。
以下是這兩種不同資料中心網路架構的比較:
▋三層資料中心網路架構
三層資料中心網路架構是一種傳統的網路拓撲結構,在許多較舊的資料中心中已被廣泛採用,通常被稱為「核心-匯聚-存取」模型。冗餘是這個設計的關鍵部分,除了幫助網路實現高可用性和高效資源分配外,還有從存取層到核心的多條路徑。

存取層:作為三層資料中心網路架構中的最低層,它可作為伺服器、儲存系統和其他裝置進入網路的入口點,透過交換器和電纜提供連接。存取層交換器通常以架頂式 (ToR) 配置排列,強制執行安全設定和 VLAN(虛擬區域網路)指派等策略
聚合層:也稱為分佈層,它整合來自存取層架頂式交換器的資料流量,然後將其傳輸到核心層以路由到其最終目的地。此層透過冗餘交換器增強資料中心網路的彈性和可用性,消除單點故障,並透過負載平衡、服務品質 (QoS)、資料包過濾、佇列和 VLAN 間路由等策略來控製網路流量
核心層:它也稱為主幹網,是網路的高容量中心部分,專為冗餘和彈性而設計,將聚合層交換器互連並連接到外部網路。核心層在 3 層運行,使用高階交換器、高速電纜和收斂時間較短的路由協議,優先考慮速度、最小延遲和連接性
伺服器虛擬化技術帶來的層間多跳延遲,會產生的大量的東西向(伺服器到伺服器)流量,傳統的三層資料中心架構難以有效處理, 同時還存在頻寬的浪費、故障域較大、難以適應超大規模網路等問題。
資料中心的流量總的來說可以分為以下幾種:
· 南北向流量:資料中心以外的客戶端到資料中心伺服器之間的流量,或資料中心伺服器存取網際網路的流量。
· 東西向流量:資料中心內的伺服器之間的流量。
· 跨資料中心流量:不同資料中心的流量,例如資料中心之間的災備,私有雲和公有雲之間的通訊。
在傳統資料中心中,業務通常採用專線方式部署。通常,服務部署在一個或多個實體伺服器上,並與其他系統實際隔離。因此,傳統資料中心東西向流量較低,南北向流量約佔資料中心總流量的80%。
在雲端資料中心,服務架構逐漸從單體架構轉變為Web-APP-DB,分散式技術成為企業應用的主流。服務的元件通常分佈在多個虛擬機器或容器中。該服務不再由一台或多台實體伺服器運行,而是由多台伺服器協同工作,導致東西向流量快速增長。
此外,大數據服務的出現使分散式運算成為雲端資料中心的標準配置。大數據服務可以分佈在一個資料中心的數百台伺服器上進行平行計算,這也大大增加了東西向流量。
傳統的三層網路架構是為南北向流量占主導地位的傳統資料中心設計的,不適合東西向流量較大的雲端資料中心。
一些東西向流量(如跨POD的二層和三層流量)必須經過匯聚層和核心層的設備轉發,不必要地經過許多節點。傳統網路通常設定1:10到1:3的頻寬超額比,以提高設備使用率。隨著超額訂閱率,每次流量通過節點時效能都會顯著下降。此外,第 3 層網路上的 xSTP 技術加劇了這種惡化。
因此,如果透過傳統三層網路架構運行大量的東西向流量,連接到同一交換器連接埠的裝置可能會爭奪頻寬,導致最終用戶獲得的回應時間很差。
▋Spine-Leaf 葉脊架構
脊葉架構,通常稱為 Clos 設計,是一種兩層網路拓撲,廣泛用於資料中心和企業 IT 環境。與傳統的三層網路架構相比,它為資料中心基礎設施帶來了多種優勢,例如可擴展性、減少延遲和提高效能。

葉子層:這些是接取層中的架頂式交換機,用於連接到機架內的伺服器和儲存設備。它們透過連接到每個主幹交換器形成一個完整的網狀網絡,確保所有轉送路徑都可用,並且節點在跳數方面等距
脊椎層:它們構成了資料中心網路的骨幹網,將所有枝葉交換器互連並在它們之間路由流量。它們不會直接相互連接,因為網狀網路架構消除了主幹交換器之間專用連接的需要。相反,它們透過主幹層路由東西向流量,以實現不同葉交換器上的伺服器之間的完全無阻塞資料傳輸
與傳統的三層架構相比,脊葉架構具有卓越的可擴展性、更低的延遲、可預測的效能和最佳化的東西向流量效率。它還透過高度互連提供容錯能力,消除了網路環路問題,並簡化了資料中心網路管理。
但是,Fabric 架構並非完美。葉節點網路設備無論是效能需求或功能需求,均高於傳統架構下的接取設備,其作為各種類型的閘道器(二三層間、VLAN/VxLAN 間、VxLAN/NVGRE 間、FC/IP 間等等),晶片處理能力要求較高,目前尚無滿足所有協定間互通的商用晶片;由於不存在相關的標準,為了實現各種類型網路的接入,其骨幹節點與葉子節點間的轉發各個廠商均採用了私有封裝,這也為未來的互通設定了難題。除此之外,還有:
獨立的 L2 Domain 限制了依賴 L2 Domain 應用程式的部署。要求部署在一個二層網路的應用程序,現在只能部署下一個機架下了。獨立的 L2 Domain 限制了伺服器的遷移。遷移到不同機架之後,網關和 IP 位址都要變。
子網數量大大增加了。每個子網路對應資料中心一條路由,現在相當於每個機架都有一個子網,對應於整個資料中心的路由條數大大增加,並且這些路由資訊要怎麼傳遞到每個Leaf 上,也是一個複雜的問題。
在設計葉脊網路架構之前,您必須先確定一些重要的因素。如,收斂比(即超額預訂比率)、葉交換機與脊交換機的比例、從葉層到脊層的上行鏈路、構建在第2層或第3層等。

02、資料中心的儲存架構
資料中心儲存架構是指儲存系統的設計和組織,它決定如何在資料中心內實體儲存和存取資料。它定義了實體儲存設備類型,如硬碟(HDD)、固態驅動器(SSD) 和磁帶驅動器,以及它們的配置方式,例如直連儲存(DAS)、網路連接儲存(NAS) 和儲存區域網路(SAN )。此外,儲存架構還涉及伺服器直接或透過網路存取儲存資料的方法。
以下是資料中心儲存架構的主要類型:
▋直連儲存 (DAS)
直連儲存 (DAS) 是一種用於資料中心的數位儲存系統,其特點是與其支援的伺服器直接實體連接,中間沒有網路連接。伺服器使用 SATA、SCSI 或 SAS 等協定與儲存設備通信,RAID 控制器管理資料條帶化、鏡像和磁碟管理。

DAS 為單一伺服器提供經濟高效、簡單和高效能,但與 NAS 和 SAN 等網路儲存解決方案相比,在可擴展性和可存取性方面有其限制。
▋網路連接儲存 (NAS)
網路連線儲存 (NAS) 是一種專用的檔案級儲存設備,可透過區域網路 (LAN) 中的 TCP/IP 乙太網路為多個使用者和用戶端設備提供資料存取。這些系統旨在簡化資料儲存、檢索和管理,而無需中間應用伺服器。

NAS 提供了輕鬆存取、共享和管理的優勢,但由於其對共享網路頻寬的依賴性和物理限制,它面臨可擴展性和效能限制。
▋儲存區域網路 (SAN)
儲存區域網路 (SAN) 是專用的高速網絡,通常使用光纖通道協定將伺服器連接到共用儲存裝置。這些系統提供對資料中心內儲存的區塊級訪問,使伺服器能夠與儲存裝置進行交互,就好像它們被直接連接一樣,透過從主機伺服器卸載這些任務來簡化備份和維護等操作。 SAN 提供了高效能和可擴展性,但它們具有高成本和複雜的管理要求,需要專門的 IT 專業知識。

▋下一代儲存解決方案與技術
資料中心儲存領域正在湧現多種創新的下一代解決方案和技術,以滿足對效率、可擴展性和效能日益增長的需求。這些包括:
全快閃陣列:使用固態硬碟 (SSD) 取代傳統旋轉硬碟機 (HDD) 的高速儲存系統,提供卓越的效能和更低的延遲。此外,專為SSD 設計的儲存協定(如NVMe(非揮發性記憶體快速)和NVMe-OF(NVMe over Fabric))的採用率不斷提高,進一步提高了資料中心全快閃陣列的效能、減少延遲和吞吐量
橫向擴展檔案系統:一種儲存架構,允許透過添加更多節點來水平擴展儲存容量和效能,支援靈活性和易於擴展
物件平台:專為管理大量非結構化資料而設計的儲存解決方案,使用扁平命名空間和唯一識別碼進行資料檢索
超融合基礎架構 (HCI):將儲存、運算和網路整合到一個框架中的整合系統,可簡化管理並增強可擴充性
軟體定義儲存 (SDS):一種軟體管理和抽象底層儲存資源的方法,透過基於策略的管理提供靈活性和效率。 SDS 技術已被 Meta Platforms (Facebook)、Google 和 Amazon 等多家超大規模公司採用
熱輔助磁記錄 (HAMR):一種資料儲存技術,它使用局部加熱來增加磁記錄密度,使更高容量的硬碟 (HDD) 能夠滿足現代資料中心不斷增長的儲存需求
03、資料中心的伺服器架構
資料中心的伺服器架構是指伺服器和相關元件的設計和組織,以有效處理、儲存和管理資料。
它通常可以分為以下幾類:外形尺寸(物理結構)、系統資源和支援基礎設施:
外形尺寸(物理結構)
機架式伺服器:這些是資料中心中最常見的伺服器類型。它們設計用於安裝在標準的 19 吋機架中,高度通常為 1U 至 4U
刀鋒伺服器:這些伺服器旨在最大限度地提高密度並最大限度地減少實體空間。多個刀鋒伺服器安裝在一個機箱中,共享電源、冷卻和網路等公共資源
塔式伺服器:雖然在大型資料中心中較不常見,但塔式伺服器仍用於較小規模的部署或機架空間不受限制的地方。它們類似於桌上型電腦塔,可以是獨立的單元
系統資源
CPU(中央處理器):CPU是伺服器的大腦,負責執行指令和處理資料。它執行算術、邏輯和輸入/輸出運算
記憶體:RAM(隨機存取記憶體)是伺服器的主記憶體,提供對資料和指令的快速存取。它會暫時儲存目前正在使用的資料和程序
儲存:硬碟 (HDD) 或固態硬碟 (SSD) 等裝置會永久儲存資料和檔案。它們保存作業系統、應用程式、資料庫和使用者數據
網路:NIC(網路介面卡)將伺服器連接到網絡,從而實現與其他設備的通訊。它們處理資料包的發送和接收
GPU(圖形處理單元):GPU 是專為平行處理和圖形渲染而設計的專用處理器。他們擅長處理計算密集型任務,尤其是人工智慧、機器學習和科學模擬的任務。但是,並非所有伺服器都需要 GPU
支援基礎設施
電源系統:電源單元 (PSU) 為所有伺服器元件提供穩定可靠的電源。它們將來自牆上插座的交流電源轉換為伺服器所需的適當直流電壓
空調系統:伺服器會產生大量熱量,冷卻系統確保組件在安全溫度範圍內運作。冷卻選項包括伺服器機房中的風扇、散熱器、液體冷卻和空調
主機板架構:這是將所有伺服器元件連接在一起的主要印刷電路板。它為 CPU、RAM、儲存和其他週邊設備提供必要的介面、匯流排和插槽
04、雲端資料中心架構
雲端資料中心架構是指在遠端資料中心內設計和組織運算、儲存、網路和資料庫資源,以實現雲端運算服務的交付。該架構基於虛擬化技術構建,允許高效共享和利用實體資源,以提供可擴展、可靠且靈活的基於雲端的應用程式和服務。
以下是雲端資料中心架構主要元件的細分:
運算:雲端運算服務為執行應用程式和工作負載提供虛擬機器 (VM)、容器和無伺服器運算資源。這些服務允許用戶按需配置和擴展運算能力,而無需管理實體硬體。例如,主要的雲端運算服務包括Amazon EC2,Microsoft的Azure虛擬機器和Google Cloud的運算引擎
儲存:雲端儲存服務為各種資料類型(如檔案、物件和備份)提供可擴充且持久的儲存解決方案。這些服務提供高可用性、自動複製和資料加密,以確保資料的完整性和安全性。流行的雲端儲存服務的範例包括 Amazon S3、Microsoft 的 Azure Blob 儲存體和 Google 的雲端存儲
網路:雲端網路服務使用戶能夠建立、配置和管理虛擬網路、子網路和網路安全規則。這些服務提供雲端資源、本地網路和 Internet 之間的連接,從而實現安全且有效率的資料傳輸。例如,關鍵的雲端網路服務包括 Amazon Virtual Private Cloud (VPC)、Microsoft 的 Azure 虛擬網路和 Google Cloud Virtual Private Cloud (VPC)
資料庫:雲端資料庫服務提供託管和可擴展的資料庫解決方案,用於儲存、檢索和管理結構化和非結構化資料。這些服務支援各種資料庫引擎,例如關聯式資料庫(例如 MySQL、PostgreSQL)、NoSQL 資料庫(例如 MongoDB)和資料倉儲。雲端資料庫服務可處理配置、擴充、備份和安全性等任務,使開發人員能夠專注於應用程式開發。例如,著名的雲端資料庫服務包括Amazon RDS,Microsoft的Azure Cosmos DB和Google Cloud SQL
05、實體資料中心設計
資料中心的實體架構和設計對於確保最佳效能、安全性和可靠性至關重要。
以下是實體資料中心架構設計的關鍵要素:
選址
地點:資料中心通常建在自然災害風險較低的地區,遠離地震、洪水和颶風多發地區
氣候:較冷的位置可以透過使用環境空氣來降低冷卻資料中心的成本,而較熱的氣候需要更節能的冷卻解決方案
交通:該地點必須方便工作人員進入,並靠近主要道路和機場,以便運輸設備和緊急應變
電源:可靠且具成本效益的能源至關重要。多條高壓輸電線路和變電站的存在對於電力傳輸很重要
線路資源:靠近主要光纖線路並擁有多個服務供應商,可實現更好的連接性
建築和結構
建築材料:資料中心通常使用耐用的耐火材料建造,例如混凝土、鋼材和專用牆板
結構:雖然單層資料中心較為普遍,但多層資料中心越來越多地建在土地可用性有限或房地產成本高的地區
天花板高度:高天花板高度(通常在 12 到 18 英尺之間)是必要的,以容納活動地板、架空電纜橋架和空調管道,同時為設備和維護提供足夠的間隙
承重能力:資料中心需要較高的地板負載能力,以支援重型伺服器機架、冷卻系統和不間斷電源 (UPS) 系統的重量。承載能力通常在每平方英尺 150 到 300 磅之間
內部佈局:資料中心的內部架構,包括柱子和隔間牆,在設施的整體設計和功能中起著至關重要的作用。這些因素會影響空間利用率、與冷卻系統相關的氣流、配電以及設備的運輸,以便進行維護
▋資料中心功能定位
資料中心的設計和建置基於各種架構因素,例如規模、用途、所有權和位置。通常的資料中心類型包括:
企業資料中心:由各個公司擁有和經營,以支援其特定的業務需求和應用程式。它們通常是量身定制的,這意味著它們是定制的,以滿足單一組織的特定需求。
主機託管資料中心:提供共享基礎架構,多個客戶可以租用空間、電源和冷卻,在託管設施中容納自己的 IT 設備。
超大規模資料中心:大型集中式設施,旨在支援超大規模供應商(CSP)和網路公司的需求。
邊緣資料中心:利用分散式資料中心架構的小型設施。邊緣資料中心位於更靠近最終用戶或資料來源的位置,旨在透過處理更接近其來源的資料來減少延遲並提高應用程式效能。
容器化資料中心:這些資料中心也稱為微型資料中心,是安裝在貨櫃中的模組化便攜式設施,提供靈活性和快速部署。
人工智慧 (AI) 資料中心:針對 AI 工作負載最佳化的專用設施,具有高效能運算、GPU(圖形處理單元)和液體冷卻系統。
來源:資料中心維運管理

初學者先學習SQL還是Python?

原创 尚天强 大话数据分析
SQL和Python作為兩種在資料分析領域常用的技能,無論是資料處理或資料分析均佔有重要地位,可滿足企業中各種複雜的資料任務和需求,對於先學習SQL或Python?以過來人多年的資料分析經驗,推薦你先學習SQL後學習Python。

SQL學習

先來看看什麼是SQL,SQL是一種結構化的查詢語言,用於資料查詢、檢索、處理、儲存等,對資料分析人員來說不可或缺。 SQL善於處理關聯式資料庫,而資料分析模型則是基於關聯式資料庫,因此,SQL是一個高效且實用的資料分析工具。現今大數據時代,透過學習SQL,你可以迅速從資料庫中提取所需信息,進行基礎的資料處理和分析。

無論是在做資料存儲,或亦是做資料處理,SQL都扮演著非常重要的角色,對於職場人來說,要從事資料分析產業,只需要掌握以下幾個SQL知識點,就足以處理和分析數據。
1.基礎語法:了解SQL的基本語法規則,如何寫出正確的SQL查詢語句;
2.資料查詢:熟練SELECT語句,用於從資料庫擷取資料;
3.資料過濾和排序:使用WHERE和ORDER BY子句資料過濾和排序,以滿足特定的資料需求;
4.聚合函數:了解並使用SUM、COUNT、AVG等聚合函數,以進行資料的總和分析;
5.分組與聚合:透過GROUP BY子句將資料分組,並結合聚合函數進行資料分析;
6.連接表:掌握如何使用JOIN操作連接多個表,以便在複雜的資料結構中進行分析;
7.子查詢:理解子查詢的概念和用法,以解決更複雜的資料分析問題;
8.資料轉換與函數:使用SQL的函數進行資料轉換與處理,如日期處理、字串處理等;
9.視窗函數:了解並使用視窗函數,可以對資料進行更複雜的分析和計算;
10.最佳化查詢效能:瞭解如何最佳化SQL查詢以提高效能,例如使用索引、避免全表掃描等。
掌握這些SQL知識點將有效幫助數據分析人員從資料庫中提取和處理數據,為數據分析提供強大的支持,從而輕鬆應對企業級的數據提取和數據處理任務,並且,針對數據分析結果可提出相應的數據分析決策。
對很多人來說,資料分析人員該掌握SQL到什麼程度呢?這也是個問題。
SQL文法簡單直觀,類似英文文法邏輯,要掌握,多練是關鍵。不能拘泥於理論上的學習,需要多學多練才能真正掌握。如果你沒有安裝SQL軟體的話,可在一些SQL線上網站進行學習和實踐,例如牛客網、SQLZOO都提供了大量的SQL練習題,表格、題目一應俱全,輕鬆開啟實戰演練。
資料分析人員對SQL的掌握程度因職位而異。業務分析職位如資料分析師或商業分析師,要求能夠運用SQL從資料倉儲取數,並熟悉常見SQL語句,以支援業務分析工作。而技術型資料崗如資料分析工程師,則必須精通SQL,掌握複雜查詢、視窗函數、多表查詢等,以提高檢索速度,滿足業務需求。
Python學習

其次,Python在數據分析領域也常用到,作為一種通用的程式語言,在數據分析領域也展現了強大的實力。透過Pandas、Numpy、Matplotlib等函式庫,Python不僅可以處理複雜的資料清洗、轉換和視覺化任務。而且,Python也是機器學習領域的主流語言,為分析師提供了更廣泛的應用前景。

在先學習SQL的學習條件下,使用Python做資料處理分析顯得很容易,在許多情況下,SQL和Python的知識點可以互相補充,例如groupby函數在SQL和Python中都有資料分組的作用,這一點是相同的,有了SQL資料處理的先遣知識,可以幫助我們更好的學習和掌握Python知識點。

對比SQL來看,Python在自動化辦公室和資料處理方面有著得天獨厚的優勢,例如一個Excel表中有多個不同的sheet表,將其匯總到一個sheet表中,複製、貼上,需要耗時很長時間,使用Python寫個程式只有8行程式碼,10秒不到,就將多個sheet表中的資料合併到一個Excel表中,這是SQL所無法達到的。
下面程式碼,首先,sheet_name=0匯入第一個sheet表中的數據,然後,遍歷工作簿中的sheet表名,read_excel匯入資料用sheet表名匯入數據,最後,使用concat函數批次將匯入的sheet表合併成為一個表,即完成sheet表合併。

上面將一個Excel 工作簿中的多個工作表合併成一個工作表只是資料處理中的一個很小的應用,對比SQL來看,Python的應用性更廣,可循環、批量地進行資料處理,減少了很多人工操作,是對於SQL資料處理功能性的補充。
除此之外,Python在資料視覺化中也有很廣的應用,例如使用Python中的Matplotlib庫可以做一個視覺化圖表,如下借助Python做了一個使用者畫像儀錶盤,借助儀錶板可以結合業務研究用戶的購買特點,從而得出不同的銷售策略,為企業決策做支撐。

如果你有SQL資料處理的基礎,學習Python就會很快。
通常,我們在學習Python時,首先要學習其資料結構和基本語法這是掌握Python程式設計的基礎,也是後續進行資料分析的關鍵。 Python的資料結構包含列表、元組、字典、集合等,Python的基本語法包括了解變數、資料型態、條件語句、循環語句等基本概念和用法,
其次,掌握一些數據分析套件也是必備的,可以幫助你更好的處理數據和分析數據,例如常見的數據分析套件Numpy、Pandas以及數據視覺化套件Matplotlib、Seaborn都是所必須的,這些庫和工具大幅擴展了Python在數據分析領域的能力,使得數據分析工作更加便利和有效率。

好可怕,大語言模型學會網路運維了?思科CX GAIOps怎麼做到的!

思科联天下
●都在說AI,大語言模型,百模大戰,我們維運團隊能幹點什麼呢

● IT系統出現嚴重故障導致業務中斷,大語言模型時代就無法提前預警嗎

● 業務不間斷運作的要求越來越苛刻,維運人員集體抱怨每晚都睡不踏實

● 我們維運團隊的開發小夥伴真能幹,開發出來了基於大語言模型的維運智能體。但為啥不太懂思科呢

● 過去已經發生過的嚴重故障,不會再出現吧

● 一線值班的兄弟要是能有二線兄弟的技術能力就好了

● 這麼多日誌,怎麼能做到既不錯殺一千,也不放走一個

● 日誌分析從傳統基於正規表示式過渡到機器學習,還是需要大量人工標記的訓練樣本,太過耗時耗力

閒話不多說,直接上乾貨。這麼多頭痛的事情,思科CX GAIOps(生成式智慧維運)是怎麼解決的呢?

先讓我們了解一下

CX GAIOps(生成式智慧運維)是什麼?

◎ 全新一代基於本地開源大語言模型(LLM)+思科內部海量知識庫+客戶實際運維資料訓練所得的維運智能體

◎ 三個組件:

1)基於LLM的日誌分析平台(跨廠商全端即時異常判斷與根因分析)

2)基於LLM的AI本地維運聊天機器人(凝練思科專家經驗)

3)基於LLM的AI輔助維運智能體(使用自然語言產生配置)

◎ 四個基本功能:

1)綜合維資訊分析推理診斷

2)基於知識、案例的推理問答

3)多廠商跨全端即時資訊查詢

4)基於自然語言產生配置/API,自動下發和驗證

◎客戶本地部署(On-Prem模式),無需外傳數據,保護客戶資料安全及隱私

CX GAIOps(生成式智慧運維)

為什麼是全新一代?

◎ 基於LLM大語言模型,透過少量無重大業務影響日誌資料對模型進行訓練

◎ AI日誌分析平台自動學習日誌流中各種設備的日誌,自學習映射轉換成模版,無需大量人工正則或TextFSM等匹配方法

◎ 可對監測結果進行人工糾偏,實現本地資料匯出再訓練,不斷迭代提升準確性

◎ 相對早期基於正規表示式和近期基於機器學習ML的日誌分析,大語言模型已經演進到了全新一代的自動學習與識別

為什麼說只有思科的服務團隊

才能做出來呢?

◎ AI業界大佬一致認可的是在大語言模型時代,專業領域的數據才是核心資產,是每個企業的金礦。只有思科服務(CX)團隊擁有思科維運知識庫(海量Case,海量Log,軟體Bug知識庫等核心資料資產)

◎ 思科服務團隊在2年前就進行了早期投入與研發,形成了一套完整的方法與流程,至少領先業界1年以上的時間

◎ 思科服務團隊已經在客戶處使用真實的多廠商資料進行了1年以上的模型訓練

具體如何解決

你頭痛的事情呢?

◎ 痛點1:如何實現故障的快速定位與提前預警,如何從每日海量日誌定位異常日誌。 CX GAIOps透過在客戶本地的資料學習和微調來實現精準的異常日誌識別,做到了不錯殺一千也不放過一個。

◎ 痛點2:發現異常日誌,該採取什麼正確行動。 CX GAIOps透過思科知識庫的訓練為客戶提供異常日誌的操作建議。

◎ 痛點3:過去發生過的重大故障會不會再出現。 CX GAIOps將客戶過去幾年的重大Case的特徵提取出來,訓練到模型中,在檢測到類似日誌後即時給出建議措施。

◎ 痛點4:第一線的值班人員不理解Error Message的具體意義。 CX GAIOps提供了一個基於大語言模型的聊天機器人,第一線人員可以透過自然語言和機器人互動並理解具體含義。

◎ 痛點5:產品的命令手冊經常超過9千頁,很難學習和使用。 CX GAIOps提供基於大語言模型的聊天機器人,技術人員可以透過自然語言和機器人互動來產生所需的精確命令。