簡介
思科® SD-WAN 解決方案是企業級重疊廣域網架構,可推動企業實現全數字化轉型,並過渡到雲。該解決方案可以
在大規模網絡中完全集成路由、安全、集中策略和協調功能,具有多租戶、雲交付、高度自動化、安全、可擴展、
應用感知和豐富的分析等特點。思科 SD-WAN 技術解決了常見廣域網部署的各種問題和挑戰。
本指南介紹思科軟件定義廣域網網絡實施,展示組織常用的一些部署模式和功能。本指南並不會詳盡地介紹所有部
署選項,而只重點介紹最佳實踐,並幫助成功配置和部署思科 SD-WAN 網絡。
示例 SD-WAN 網絡包含一個數據中心(具有兩台思科 vEdge 5000 路由器)和五個遠程站點(混合使用運行 SDWAN 軟件映像的思科 vEdge 1000 路由器、思科 vEdge 100 路由器以及思科 ISR 4351 和 4331 路由器)。利用
我們所介紹的數據中心現有環境部署,可以在從廣域網向軟件定義廣域網遷移期間,通過數據中心連接至非軟件定
義廣域網站點。本指南將介紹遠程站點新環境部署,但是其中的配置概念也適用於現有環境部署。
注意:運行 SD-WAN 軟件映像的思科 ISR 4000 和 1000 路由器以及思科 ASR 1000 路由器也稱為 IOS XE SDWAN 路由器。思科 IOS XE SD-WAN 路由器與思科 vEdge 路由器一起,統稱為思科廣域網邊緣路由器。
開始部署的必備條件:
• 已安裝思科廣域網邊緣路由器,並且這些路由器隨時可進行配置。 IOS XE SD-WAN 路由器應該已從 IOS XE
轉換為 SD-WAN 代碼。有關轉換的信息,請參閱附錄 B。
• 已配置與思科廣域網邊緣路由器鄰接的設備。
• 已使用思科雲託管服務設置並部署 SD-WAN 控制器。
• 理解思科 SD-WAN 解決方案及其相關概念,但無需具備部署經驗。有關 SD-WAN 解決方案的背景信息,請
參閱《軟件定義廣域網設計指南》,網址為:
https://www.cisco.com/c/dam/en/us/td/docs/solutions/CVD/SDWAN/CVD-SD-WAN-Design2018OCT.pdf。
有關本部署指南中使用的硬件型號和軟件版本,請參閱附錄 A。有關部分配套的網絡設備配置,請參閱附錄 F。有
關 vEdge 設備的配置摘要,請參閱附錄 G 和 H。
有關其他文檔(包括面向 SaaS 的 Cloud onRamp 部署指南),請參閱 http://www.cisco.com/go/cvd 上的設
計區。
SD-WAN 部署概述
為了獲得功能完備的 SD-WAN 重疊,需要執行一系列步驟。下圖展示的是一個工作流程示例
1. 網絡規劃 – 規劃設備佈局、系統 IP 地址和站點 ID;規劃廣域網邊緣設備配置、策略和代碼版本;規劃配
套的設備配置,包括為滿足廣域網邊緣通信需求而必須開放的任何防火牆端口。制定詳細的遷移計劃。
2. 部署軟件定義廣域網控制器 – 應部署 vManage、vSmart 控制器和 vBond 協調器;應安裝證書;並且這些
控制器應相互執行身份驗證。
3. 調整併升級控制器 – 可以驗證軟件定義廣域網控制器狀態,並根據常用最佳實踐配置適當進行調整。必要
時,可以升級這些控制器。
4. 上傳授權序列號文件 – 授權序列號文件包含所有經授權可以進入網絡的廣域網邊緣路由器的序列號和機箱
編號,應上傳到 vManage 中。該文件上傳到 vManage 中或完成同步後,將分發給 vBond 和 vSmart 控
制器。請注意,可以上傳多個授權序列號文件,重複的設備條目會被忽略。
5. 配置功能模板和設備模板 – 配置功能模板和設備模板,並將這些模板與廣域網邊緣設備關聯,必要時為參
數值創建變量。 vManage 會構建完整配置並將其推送到廣域網邊緣設備。建議在部署分支機構之前,先部
署數據中心。
6. 配置本地化策略 – 配置本地化策略,並將該策略與目標設備模板關聯。請注意,如果設備模板已與廣域網
邊緣設備關聯,則需要首先關聯本地化策略,再在功能模板中執行任何策略引用。
7. 配置集中策略 – 使用 vManage 配置所有集中策略,這些策略將下載到網絡中的 vSmart 控制器上。
SD-WAN 部署概述
7
8. 啟動/升級廣域網邊緣路由器 – 啟動廣域網邊緣路由器,以與 vBond、vSmart 和 vManage 設備建立控制
連接。此操作可以通過手動引導配置或自動調配過程完成。自動調配包括適用於 vEdge 路由器的非接觸調
配 (ZTP) 流程,或適用於 IOS XE SD-WAN 路由器的思科網絡即插即用 (PnP) 流程。此外,請根據需要升
級廣域網邊緣路由器,可以通過 vManage GUI 手動執行,也可以在自動調配過程中自動執行。
請注意,上述步驟的順序可靈活調整,但以下幾點例外:
• 網絡規劃和 SD-WAN 控制器部署應首先執行。
• 計劃升級到新代碼版本時,應首先升級 vManage 設備,然後升級 vBond 和 vSmart 控制器,再升級廣域網邊
緣路由器。
• 需要先上傳授權序列號文件,然後才能成功使任何廣域網邊緣路由器上線。
• 必須在 vManage GUI 中將設備模板與廣域網邊緣路由器關聯,才能通過 ZTP 或 PnP 流程成功使這些路由器
上線。
• 本地化策略需與設備模板關聯。如果設備模板已與 vEdge 設備關聯,則必須先關聯本地化策略,然後才可以
在設備模板內引用任何策略組件(路由器策略、前綴列表等)。
作者: admin
學習指南 – 考試 AI-102:設計和實現 Microsoft Azure AI 解決方案
AI-102考試學習指南應説明你了解考試的預期內容,並包含考試可能涵蓋的主題摘要以及指向其他資源的連結。 本文檔中的資訊和材料可以説明你在準備考試時集中精力學習。
有用連結 說明
查看自 2023 年 8 月 23 日起測試的技能 此清單表示在提供的日期之後測試的技能。 如果你計劃在該日期之後參加考試,請學習此清單。
查看 2023 年 8 月 23 日之前測試的技能 如果在提供的日期之前參加考試,請學習此技能清單。
更改紀錄 如果想要查看將在提供的日期所做的更改,可以直接轉到更改日誌。
如何獲得認證 有些認證只需要通過一項考試,而另一些認證則需要通過多項考試。
認證續訂 Microsoft 助理、專業和專家認證每年都會過期。 你可以通過 Microsoft Learn 上的免費在線評估進行續訂。
Microsoft Learn 個人資料 通過將認證個人資料連接到 Microsoft Learn,可以安排和續訂考試以及共用和列印證書。
考分和成績報告 需要 700 分或更高的分數才能通過。
考試沙盒 可以通過訪問我們的考試沙箱來探索考試環境。
申請調整 如果你使用輔助設備、需要額外時間或需要修改考試體驗的任何部分,你可以申請住宿。
進行免費的練習評估 通過練習題測試技能,説明你為考試做準備。
考試更新
我們的考試會定期更新,以反映執行某一角色所需的技能。 我們提供了兩個版本的技能測評目標,具體取決於你參加考試的時間。
我們始終首先更新考試的英語版本。 一些考試已當地語系化為其他語言,在英語版本更新后大約八周進行更新。 雖然 Microsoft 會盡一切努力更新當地語系化考試,但有時考試的當地語系化版本可能未按此計劃進行更新。 其他可用語言列在「考試詳細資訊」網頁的「安排考試」 部分。 如果考試不以你的首選語言提供,你可以請求額外 30 分鐘時間來完成考試。
注意
每項技能下面的項目符號旨在說明我們如何評估該技能。 考試中可能會涉及到相關的主題。
注意
大多數問題都涉及正式發佈 (GA) 的功能。 如果經常使用預覽功能,該考試可能會包含有關這些功能的問題。
自 2023 年 8 月 23 日起測試的技能
受眾概況
Microsoft Azure AI 工程師構建、管理和部署充分利用 Azure 認知服務和 Azure 應用 AI 服務的 AI 解決方案。 他們的職責包括參與 AI 解決方案開發的所有階段,從需求定義和設計到開發、部署、集成、維護、性能優化和監視。
這些專業人員與解決方案架構師合作將其願景轉化為事實,並與數據科學家、數據工程師、IoT 專家、基礎結構管理員和其他軟體開發人員合作,以構建完整的端到端 AI 解決方案。
Azure AI 工程師具有開發使用 Python 或 C# 等語言的解決方案的經驗,並且應該能夠使用基於 REST 的 API 和軟體開發工具套件 (SDK) 來構建安全的圖像處理、視頻處理、自然語言處理 (NLP)、知識挖掘和對話式 AI 解決方案。 他們應熟悉實現 AI 解決方案的所有方法。 此外,他們了解構成 Azure AI 產品群組的元件以及可用的數據儲存選項。 Azure AI 工程師還需要理解並能夠應用負責任 AI 原則。
計劃和管理 Azure AI 解決方案 (25-30%)
實現影像和視訊處理解決方案 (15-20%)
實現自然語言處理解決方案 (25-30%)
實現知識挖掘解決方案 (5-10%)
實現對話式 AI 解決方案 (15-20%)
計劃和管理 Azure AI 解決方案 (25-30%)
選擇適當的 Azure AI 服務
為視覺解決方案選擇適當的服務
為語言分析解決方案選擇適當的服務
為決策支援解決方案選擇適當的服務
為語音解決方案選擇適當的服務
選擇適當的應用 AI 服務
為 Azure AI 服務計畫和配置安全性
管理帳戶金鑰
管理資源的身份驗證
使用 Azure 虛擬網路保護服務
計劃符合負責任 AI 原則的解決方案
創建和管理 Azure AI 服務
創建 Azure AI 資源
配置診斷日誌記錄
管理 Azure AI 服務的成本
監視 Azure AI 資源
部署 Azure AI 服務
確定服務的預設終結點
使用 Azure 門戶創建資源
將 Azure AI 服務整合到持續整合 /持續部署 (CI/CD) 管道中
計劃容器部署
在連接的環境中實現預生成容器
創建解決方案以檢測異常並改進內容
創建使用異常檢測器(認知服務的一部分)的解決方案
創建使用 Azure 內容審查器(認知服務的一部分)的解決方案
創建使用個人化體驗創建服務(認知服務的一部分)的解決方案
創建使用 Azure 指標顧問(Azure 應用 AI 服務的一部分)的解決方案
創建使用 Azure 沉浸式閱讀器(Azure 應用 AI 服務的一部分)的解決方案
實現影像和視訊處理解決方案 (15-20%)
分析圖像
選擇適當的視覺特徵以滿足圖像處理要求
創建圖像處理請求以包含適當的圖像分析功能
解釋圖像處理回應
從圖像中提取文字
使用電腦視覺服務從圖像或 PDF 中提取文字
使用電腦視覺服務轉換手寫文字
使用 Azure 表單識別器中的預生成模型提取資訊
為 Azure 表單識別器生成和優化自定義模型
使用自定義視覺服務(Azure 認知服務的一部分)實現圖像分類和物體檢測
在圖像分類和物體檢測模型之間選擇
指定模型配置選項,包括類別、版本和壓縮
標記圖像
訓練自定義圖像模型,包括圖像分類和物體檢測
管理訓練反覆運算
評估模型指標
發佈已訓練的模型
匯出模型以在特定目標上運行
以 Docker 容器形式實現自定義視覺模型
解釋模型回應
處理視頻
使用 Azure 影片索引器處理視頻
使用 Azure 影片索引器從視頻或即時流中提取見解
使用 Azure 影片索引器實現內容審核
將自定義語言模型集成到 Azure 視頻索引器中
實現自然語言處理解決方案 (25-30%)
分析文本
檢索和處理關鍵短語
檢索和處理實體
檢索和處理情緒
檢測文字中使用的語言
偵測個人身份資訊 (PII)
處理語音
實現和自定義文本轉語音
實現和自定義語音轉文本
使用 SSML 和神經網路定製聲音改進文字轉語音
使用短語清單和自定義語音辨識改進語音轉文本
實現意向識別
實現關鍵字識別
轉換語言
使用轉換器服務轉換文字和文件
實現自定義轉換,包括訓練、改進和發佈自定義模型
使用語音服務將語音轉換為語音
使用語音服務將語音轉換為文本
同時轉換為多種語言
生成和管理語言理解模型
創建意向並添加語句
創建實體
訓練、評估、部署和測試語言理解模型
優化語言理解 (LUIS) 模型
使用業務流程工作流集成多種語言服務模型
導入和導出語言理解模型
創建問題解答解決方案
創建問題解答專案
手動添加問答對
匯入源
訓練和測試知識庫
發佈知識庫
創建多回合對話
添加備用措辭
向知識庫添加聊天內容
導入知識庫
創建多語言問題解答解決方案
創建多域問題解答解決方案
對問答對使用元數據
實現知識挖掘解決方案 (5-10%)
實現認知搜索解決方案
預配認知搜索資源
創建數據源
定義索引
創建並運行索引器
查詢索引,包括語法、排序、篩選和通配符
管理知識存儲投影,包括檔、物件和表投影
將 AI 擴充技能應用於索引器管道
將認知服務帳戶附加到技能組
選擇並包含文檔的內置技能
實現自定義技能並將其包含在技能組中
實現增量擴充
實現對話式 AI 解決方案 (15-20%)
設計和實現對話流
設計機器人的對話邏輯
為機器人選擇合適的活動處理程式、對話或主題、觸發器和狀態處理
生成對話機器人
通過範本創建機器人
從頭開始創建機器人
實現活動處理程式、對話或主題和觸發器
實現特定於通道的邏輯
實現自適應卡片
在機器人中實現多語言支援
實現多步驟對話
管理機器人的狀態
將認知服務集成到機器人中,包括問題解答、語言理解和語音服務
測試、發佈和維護對話機器人
使用 Bot Framework Emulator 或 Power Virtual Agents Web 應用測試機器人
在特定於通道的環境中測試機器人
排查對話機器人問題
部署機器人邏輯
學習資源
我們建議你在參加考試之前進行培訓並獲得實踐經驗。 我們提供自學選項和課堂培訓,以及指向文檔、社區網站和視頻的連結。
學習資源 學習和文件連結
參加培訓 從自定進度學習路徑和模組中進行選擇,或參加講師引導式課程
查找文件 Azure 認知服務
電腦視覺
Azure 視頻索引器
語言理解
語音轉文本
語音翻譯
Azure 認知搜索
Azure 機器人服務
提問 Microsoft Q&A | Microsoft Docs
獲取社區支援 AI – 機器學習 – Microsoft Tech Community
AI – 機器學習博客 – Microsoft Tech Community
關注 Microsoft Learn Microsoft Learn – Microsoft Tech Community
查找視頻 AI Show
流覽其他 Microsoft Learn 節目
更改紀錄
理解表的關鍵:主題組(也稱為功能組)以粗體字樣顯示,後跟每個組中的目標。 下表比較了兩個版本的考試測評技能,第三列描述了更改程度。
2023 年 8 月 23 日之前測評的技能領域 自 2023 年 8 月 23 日開始測評的技能領域 更改
受眾概況 次要
計劃和管理 Azure AI 解決方案 計劃和管理 Azure AI 解決方案 沒有變化
選擇適當的 Azure AI 服務 選擇適當的 Azure AI 服務 沒有變化
為 Azure AI 服務計畫和配置安全性 為 Azure AI 服務計畫和配置安全性 沒有變化
創建和管理 Azure AI 服務 創建和管理 Azure AI 服務 沒有變化
部署 Azure AI 服務 部署 Azure AI 服務 沒有變化
創建解決方案以檢測異常並改進內容 創建解決方案以檢測異常並改進內容 沒有變化
實現圖像和視頻處理解決方案 實現圖像和視頻處理解決方案 沒有變化
分析圖像 分析圖像 沒有變化
從圖像中提取文字 從圖像中提取文字 沒有變化
使用自定義視覺服務(Azure 認知服務的一部分)實現圖像分類和物體檢測 使用自定義視覺服務(Azure 認知服務的一部分)實現圖像分類和物體檢測 Minor
處理視頻 處理視頻 沒有變化
實現自然語言處理解決方案 實現自然語言處理解決方案 沒有變化
分析文本 分析文本 沒有變化
處理語音 處理語音 沒有變化
轉換語言 轉換語言 沒有變化
生成和管理語言理解模型 生成和管理語言理解模型 次要
創建問題解答解決方案 創建問題解答解決方案 沒有變化
實現知識挖掘解決方案 實現知識挖掘解決方案 沒有變化
實現認知搜索解決方案 實現認知搜索解決方案 沒有變化
將 AI 擴充技能應用於索引器管道 將 AI 擴充技能應用於索引器管道 沒有變化
實現對話式 AI 解決方案 實現對話式 AI 解決方案 沒有變化
設計和實現對話流 設計和實現對話流 沒有變化
生成對話機器人 生成對話機器人 沒有變化
測試、發佈和維護對話機器人 測試、發佈和維護對話機器人 沒有變化
2023 年 8 月 23 日之前測試的技能
受眾概況
Microsoft Azure AI 工程師構建、管理和部署充分利用 Azure 認知服務和 Azure 服務的 AI 解決方案。 他們的職責包括參與 AI 解決方案開發的所有階段,從需求定義和設計到開發、部署、集成、維護、性能優化和監視。
這些專業人員與解決方案架構師合作將其願景轉化為事實,並與數據科學家、數據工程師、IoT 專家、基礎結構管理員和其他軟體開發人員合作,以構建完整的端到端 AI 解決方案。
Azure AI 工程師具有開發使用 Python 或 C# 等語言的解決方案的經驗,並且應該能夠使用基於 REST 的 API 和軟體開發工具套件 (SDK) 來構建安全的圖像處理、視頻處理、自然語言處理 (NLP)、知識挖掘和對話式 AI 解決方案。 他們應熟悉實現 AI 解決方案的所有方法。 此外,他們了解構成 Azure AI 產品群組的元件以及可用的數據儲存選項。 Azure AI 工程師還需要理解並能夠應用負責任 AI 原則。
計劃和管理 Azure AI 解決方案 (25-30%)
實現影像和視訊處理解決方案 (15-20%)
實現自然語言處理解決方案 (25-30%)
實現知識挖掘解決方案 (5-10%)
實現對話式 AI 解決方案 (15-20%)
計劃和管理 Azure AI 解決方案 (25-30%)
選擇適當的 Azure AI 服務
為視覺解決方案選擇適當的服務
為語言分析解決方案選擇適當的服務
為決策支援解決方案選擇適當的服務
為語音解決方案選擇適當的服務
選擇適當的應用 AI 服務
為 Azure AI 服務計畫和配置安全性
管理帳戶金鑰
管理資源的身份驗證
使用 Azure 虛擬網路保護服務
計劃符合負責任 AI 原則的解決方案
創建和管理 Azure AI 服務
創建 Azure AI 資源
配置診斷日誌記錄
管理 Azure AI 服務的成本
監視 Azure AI 資源
部署 Azure AI 服務
確定服務的預設終結點
使用 Azure 門戶創建資源
將 Azure AI 服務整合到持續整合 /持續部署 (CI/CD) 管道中
計劃容器部署
在連接的環境中實現預生成容器
創建解決方案以檢測異常並改進內容
創建使用異常檢測器(認知服務的一部分)的解決方案
創建使用 Azure 內容審查器(認知服務的一部分)的解決方案
創建使用個人化體驗創建服務(認知服務的一部分)的解決方案
創建使用 Azure 指標顧問(Azure 應用 AI 服務的一部分)的解決方案
創建使用 Azure 沉浸式閱讀器(Azure 應用 AI 服務的一部分)的解決方案
實現影像和視訊處理解決方案 (15-20%)
分析圖像
選擇適當的視覺特徵以滿足圖像處理要求
創建圖像處理請求以包含適當的圖像分析功能
解釋圖像處理回應
從圖像中提取文字
使用電腦視覺服務從圖像或 PDF 中提取文字
使用電腦視覺服務轉換手寫文字
使用 Azure 表單識別器中的預生成模型提取資訊
為 Azure 表單識別器生成和優化自定義模型
使用自定義視覺服務(Azure 認知服務的一部分)實現圖像分類和物體檢測
在圖像分類和物體檢測模型之間選擇
指定模型配置選項,包括類別、版本和壓縮
標記圖像
訓練自定義圖像模型,包括分類器和檢測器
管理訓練反覆運算
評估模型指標
發佈已訓練的模型反覆運算
匯出模型以在特定目標上運行
以 Docker 容器形式實現自定義視覺模型
解釋模型回應
處理視頻
使用 Azure 影片索引器處理視頻
使用 Azure 影片索引器從視頻或即時流中提取見解
使用 Azure 影片索引器實現內容審核
將自定義語言模型集成到 Azure 視頻索引器中
實現自然語言處理解決方案 (25-30%)
分析文本
檢索和處理關鍵短語
檢索和處理實體
檢索和處理情緒
檢測文字中使用的語言
偵測個人身份資訊 (PII)
處理語音
實現和自定義文本轉語音
實現和自定義語音轉文本
使用 SSML 和神經網路定製聲音改進文字轉語音
使用短語清單和自定義語音辨識改進語音轉文本
實現意向識別
實現關鍵字識別
轉換語言
使用轉換器服務轉換文字和文件
實現自定義轉換,包括訓練、改進和發佈自定義模型
使用語音服務將語音轉換為語音
使用語音服務將語音轉換為文本
同時轉換為多種語言
生成和管理語言理解模型
創建意向並添加語句
創建實體
訓練、評估、部署和測試語言理解模型
優化語言理解 (LUIS) 模型
使用 Orchestrator 集成多種語言服務模型
導入和導出語言理解模型
創建問題解答解決方案
創建問題解答專案
手動添加問答對
匯入源
訓練和測試知識庫
發佈知識庫
創建多回合對話
添加備用措辭
向知識庫添加聊天內容
導入知識庫
創建多語言問題解答解決方案
創建多域問題解答解決方案
對問答對使用元數據
實現知識挖掘解決方案 (5-10%)
實現認知搜索解決方案
預配認知搜索資源
創建數據源
定義索引
創建並運行索引器
查询索引,包括语法、排序、筛选和通配符
管理知识存储投影,包括文件、对象和表投影
将 AI 扩充技能应用于索引器管道
将认知服务帐户附加到技能组
选择并包含文档的内置技能
实现自定义技能并将其包含在技能组中
实现增量扩充
实现对话式 AI 解决方案 (15-20%)
设计和实现对话流
设计机器人的对话逻辑
为机器人选择合适的活动处理程序、对话或主题、触发器和状态处理
生成對話機器人
通過範本創建機器人
從頭開始創建機器人
實現活動處理程式、對話或主題和觸發器
實現特定於通道的邏輯
實現自適應卡片
在機器人中實現多語言支援
實現多步驟對話
管理機器人的狀態
將認知服務集成到機器人中,包括問題解答、語言理解和語音服務
測試、發佈和維護對話機器人
使用 Bot Framework Emulator 或 Power Virtual Agents Web 應用測試機器人
在特定於通道的環境中測試機器人
排查對話機器人問題
部署機器人邏輯
技術丨金融行業的 NVMe 存儲網絡該怎麼建?就看這一篇 思科聯天下
引言
金融行業的數據安全直接關乎資金安全,因此存儲設備在其 IT 系統中佔有舉足輕重的位置。集中式存儲是金融業常見的存儲方式,在金融行業已經使用了超過二十年。很多銀行都構建了為存儲數據而配套的存儲區域網絡(SAN),經過多次迭代發展一直穩定運行。近年來隨著 IT 技術的不斷演進,新的產品組合和投資策略的不斷湧現也給存儲和存儲區域網絡 (SAN) 帶來了新的變化,對金融行業傳統的集中存儲造成衝擊。很多金融企業面臨著存儲網絡技術如何選擇的問題。
根據金融行業IT 發展趨勢,對於OLTP 數據庫應用,本地NVMe SSD 盤或高端NVMe 全閃存儲是合適的選擇;對於雲環境下虛擬化和基於容器的應用,分佈式塊存儲或帶有重刪壓縮功能的中高端NVMe 全閃存儲有更加明顯的性價比優勢;對於非結構化數據和歸檔數據等面向對象存儲的應用,可以選擇大容量的低成本存儲。總的來說,支持 NVMe 協議設備的使用越來越普遍。
端到端NVMe 協議的使用,既能夠釋放閃存介質的性能潛力,也能實現建設更標准通用的數據中心網絡,從而真正滿足計算資源對存儲的高性能要求,因此已成為高端全閃存儲的標配。隨著成本的進一步下降,NVMe+SSD 的組合也必將在中低端存儲中使用。不管是SAN 網絡還是IP 網絡,傳輸環節對NVMe 協議的支持是大勢所趨,NVMe-oF(NVMe over Fabric)業界目前有兩類解決方案,一類是基於傳統FC 的方式,另一類是基於RoCE( RDMA over Converged Ethernet)的方式。性價比、穩定性和安全性等方面的綜合因素決定了存儲網絡技術的選擇。
我們將分兩期為大家介紹,本期針對NVMe 技術以及NVMe-oF 技術進行探討,分析不同的NVMe-oF 的優缺點;下期內容針對如何選擇合適的NVMe-oF 進行討論,以及思科針對金融行業在不同場景下的解決方案和建議。
NVMe 和 NVMe-oF 技術的前世今生
首先我們來探討一下 NVMe 和 NVMe-oF 技術本身。
01.是什麼讓 NVMe 如此之快?
目前 SAN 系統使用的主要數據傳輸協議有 FC Protocol、iSCSI 和 FCoE。這些都是建立在 SCSI 之上的,SCSI 是一套 1970 年代為軟盤和硬盤驅動器設計的接口標準。
NVMe 標準是在過去十年中製定的,專門設計用於充分利用閃存、固態驅動器 (SSD)、NVMe 連接的 SSD,甚至是尚未發明的存儲技術。與 SCSI 的單個命令隊列(深度為 32 個命令)不同,NVMe 支持 64K 隊列,每個隊列有 64K 個命令,這意味著可以同時執行更多數量的命令。
NVMe 的第一次迭代專注於優化通過高速外圍組件互連(PCIe)高速總線連接的計算機和本地 NVMe 介質之間的 I/O。當它發展到 NVMe-oF 時,一個關鍵的設計目標是確保它支持盡可能廣泛的結構和網絡協議。今天,有三種主要的數據傳輸協議:NVMe over Fibre Channel(NVMe/FC)、NVMe over RDMA (NVMe/RDMA) 和 NVMe over TCP(NVMe /TCP)。
這是因為 NVMe 數據傳輸標準有兩個不同的方面:
•作為閃存介質和存儲控制器之間的 “後端” 協議
•作為跨 Data Fabric 的主機和存儲控制器之間的 “前端” 協議,即作為 NVMe over Fabrics (NVMe-oF)
很重要的是,在大多數情況下,NVMe 的潛在速度提升只有不到20% 是來自於使用的後端NVMe 介質,80% 或更多的好處來自於使用NVMe-oF 取代基於SCSI 的前端數據傳輸協議。因此請始終確定所討論的存儲系統是否真的在運行 NVMe-oF ,而不僅僅是後端 NVMe 閃存介質。
將 NVMe 的大規模並行性引入 Data Fabric 有望帶來巨大的性能提升。接下來,IT 領導者和架構師面臨的問題是,綜合考慮性能、可靠性和成本上的巨大差異,選擇合適的架構。
自 2016 年發布以來,NVMe-oF 標準旨在確保 NVMe 命令集可以通過盡可能廣泛的架構和網絡傳輸協議進行傳輸。
02.三種主要 Fabric
今天,IT 世界的主要數據傳輸協議是:
•光纖通道 (FC):大多數企業 SAN 系統使用的主要協議,用於在存儲設備和服務器之間傳輸數據。
•遠程直接內存訪問 (RDMA) :在計算機系統之間不依賴操作系統直接訪問內存的各種方式。
•傳輸控制協議/互聯網協議 (TCP/IP) :使用 TCP 傳輸協議跨 IP 網絡傳送數據,就像互聯網一樣。
NVMe 支持的三種相應類型的結構是:
•NVMe over FC:封裝在 FC 框架內的 NVMe 命令集。它依賴於分區等常見的 FC 進程,並且可以輕鬆地與今天的標準 FC 協議共存,其中 NVMe 命令集被封裝在 FC 幀中。
•NVMe over RoCE (NVMe/RoCE)、InfiniBand 和 iWARP:一個新興的替代方案是 RoCE v2,它在物理融合以太網(數據中心橋接無損以太網網絡)上使用 RDMA。
•NVMe over TCP (NVMe/TCP):NVMe 通過以太網作為物理傳輸在 TCP 數據報內部傳輸。儘管 RoCE 和 NVMe/TCP 都使用以太網,但 NVMe/TCP 的行為更像 NVMe/FC,因為它們都使用 I/O 的消息傳遞語義。
03.NVMe-oF 技術對比
3.1 NVMe/FC
大多數企業目前將其關鍵任務工作負載委託給基於 FC 的 SAN 系統,因為它們始終如一的高速、高效和可用性。
•NVMe/FC
◆優點:
▎NVMe/FC 提供了非常大的性能提升並減少了工作負載延遲。
▎FC 協議穩定、成熟、高效、速度極快,並提供始終如一的高性能。
▎當前可用的存儲系統可以通過使用相同的結構組件(HBA、交換機等)同時託管和支持 NVMe/FC 和 FC 流量,因此用戶可以輕鬆從 FC 過渡到 NVMe/FC。
▎借助 NVMe 解決方案,無需更改應用程序即可實施 NVMe/FC,因此無需對網絡基礎架構做替換性升級。
▎NVMe/FC 比其他 NVMe-oF 選項更成熟,現在在 NVMe-oF 領域擁有最大的生態系統。
◆缺點:
▎NVMe/FC 依賴於 FC 結構,因此可能不太適合沒有 FC 結構或試圖擺脫 FC 結構的組織。
3.2 RDMA
RDMA 是一種在網絡中兩台計算機的主內存之間交換數據的方式,無需涉及任何一台計算機的處理器、緩存或操作系統。因為 RDMA 繞過操作系統,它通常是通過網絡傳輸數據的最快和最低開銷的機制。
企業計算中有兩種主要的 RDMA 變體:InfiniBand 和 RDMA over Converged Ethernet (RoCE)。
3.2.1 InfiniBand 上的 NVMe (NVMe/IB)
InfiniBand 是最早的 RDMA 實現之一,以超快的性能著稱。儘管具有優勢,InfiniBand 並不像其近親 RoCE 或企業標準 FC 那樣流行。
•NVMe/IB
◆優點:
▎非常快速的協議。
▎廣泛用於大數據分析(例如 Hadoop 工作負載)和科學計算。
◆缺點:
▎昂貴且許多供應商不支持。
▎不容易擴展。
▎在大多數一般企業計算環境中找不到。
3.2.2 RoCEv2 上的 NVMe (NVMe/RoCEv2)
在 RDMA 協議中,嶄露頭角的競爭者是 RoCE,它在融合以太網上運行,融合以太網是以太網協議的一組數據中心橋接 (DCB) 增強功能,旨在使其無損。 RoCE v1 在第 2 層運行,即開放系統互連 (OSI) 模型中的數據鏈路層。因此,它不能在子網之間路由,所以它只支持同一以太網網絡中的兩台主機之間的通信。 RoCE v2 更有價值,因為它使用用戶數據報協議 (UDP),因此與 NVMe/TCP 一樣,在 OSI 第 3 層運行並且可以路由。
•NVMe/RoCEv2
◆優點:
▎NVMe/RoCE 使用以太網網絡進行傳輸,充分利用了廣受歡迎的網絡標準。
▎RoCE v2 產品由多家企業存儲供應商開發。
◆缺點:
▎RoCE v2 目前有一個非常小的生態系統,只有少數版本的操作系統支持,並且不支持存儲高可用性或多路徑。
▎以太網從根本上講是有損的:它旨在應對不可靠的網絡,因此有很多糾錯和重傳選項。然而,用於 NVMe I/O 的融合以太網(RoCE 中的 “CE”)網絡必須是無損的,這需要優先流控制 (PFC) 和顯式擁塞通知 (ECN) 等機制。因此,融合以太網網絡具有嚴格的容差,使其難以擴展。
▎大多數考慮採用 RoCE v2 的組織都需要購買相對昂貴的專用 DCB 網絡交換機和 RDMA 網絡接口卡 (RNIC)。 DCB 網絡可能難以設置和擴展。
3.3 基於 TCP/IP 的 NVMe
迄今為止,FC 或 InfiniBand 網絡的成本使一些組織無法進入 NVMe-oF 市場。為了填補市場空白, NVMe.org 聯盟開發並發布了新的 NVMe-oF 標準 (NVMe/TCP),該標準使用以太網 LAN 和 TCP 數據報作為傳輸。
事實上,2018 年 11 月,NVMe 標準機構批准 NVMe/TCP 作為一種新的傳輸機制。未來,TCP/IP 很可能會發展成為 NVMe 的重要數據中心傳輸。
•基於 TCP 的 NVMe
◆優點:
▎該標準使用 TCP 作為傳輸。 TCP 非常普遍、易於理解且高度可擴展。
▎儘管使用以太網進行連接,但 NVMe/TCP 更類似於 NVMe/FC,因為兩者都使用消息進行核心通信,這與基於 RDMA 的協議(如使用內存語義的 RoCE)不同。
▎TCP 世界中有一個龐大的供應商生態系統,他們在提高其性能方面進行了大量投資。在未來幾年,速度可能會顯著提高。
◆缺點:
▎網絡設計會對 NVMe/TCP 性能產生巨大影響。特別是,緩衝區的分配需要 “恰到好處”。太多緩衝會增加延遲,太少會導致丟棄和重傳。
▎NVMe over TCP 是 NVMe 的最新結構技術,尚未全面商用。
從以上各種技術的比較不難看出,目前最為成熟的 NVMe-oF 的方案應該還是 NVMe/FC,這一點也得到了業界廠商的普遍認可。