CXL內存池助力Microsoft Azure節省數億美元DRAM硬件開銷


微軟、Google、亞馬遜等雲計算巨頭,都在以各種“實例”(Instance)和按需付費的方式,向廣大客戶提供其雲端硬件資源。不過通常情況下,這些實例都會受到特定的CPU和內存配置的約束——意味著客戶智能從預設的幾個選項中進行挑選、而無法進一步細分配置。

(圖 via SemiAnalisis)

比如每多一個虛擬的 CPU 核心,就會往上添加 2GB 的內存。且在實例開啟的過程中,預先分配的 CPU 與內存資源也被單個客戶鎖定,而無法在全局環境中動態調節。

長期以來,超大規模企業一直在努力思考如何緩和這方面的資源浪費 —— 畢竟許多示例沒有充分利用其 DRAM,導致整個數據中心的使用效率低下。

以 Microsoft Azure 為例,其測量結果表明 —— 近半虛擬機從未使用超過 50% 的預分配內存資源,這樣的浪費是相當驚人的。

隨著 CPU 資源的觸頂,剩餘的內存資源無法物盡其用,微軟將這種狀態稱作內存擱淺(Memory Stranding)。

更讓人感到震驚的是,多達 25% 的 DRAM 在任何特定時刻都可能被擱置。

為大幅改善這種情況,Microsoft Azure 想到所謂的“內存池”(Memory Pooling)概念。

旨在允許 CPU 訪問其所需的盡可能多的內存、而不占用或擱置不需要那麼多 DRAM 資源的虛擬機。

好消息是,全新的 CXL 緩存一致性協議,已經得到各大主流硬件提供商的產品支持。

通過采用 CXL 硬件,微軟等數據中心運營商有望大幅降低其 DRAM 成本。

假如最終得到 9~10% 的整體 DRAM 優化,大型雲服務器提供商可輕松介紹數億美元的內存硬件開銷。

此外微軟估計,使用 CXL 和內存池技術,將使數據中心的服務器成本降低 4-5% —— 畢竟僅 DRAM 組件就占比超過 50% 。

性能方面,Microsoft Azure 團隊對一些使用本地 DRAM / 內存池的配置進行基準測試,不過性能損失 / 最佳效果還是取決於具體的應用程序。

一方面,Memory Pooling 會導致額外的 67-87 ns 延遲,導致某些應用程序的速度變得更慢。

另一方面,20% 左右的應用程序並未受到內存池的性能拖累,但有 23% 的應用程序性能損失不到 5% 。

此外 25% 的應用程序減速超 20%,12% 的應用程序減速超 30% 。

需要指出的是,這隻是微軟在首批 CXL 硬件上展開的早期測試。展望下一代硬件和新的 CXL 協議規范,Memory Pooling 還有望帶來更好的體驗。


相關推薦

2022-09-21

terResearch合作,計算出企業通過Intune使用Windows11Enterprise和Microsoft365的經濟影響。根據對多個大型機構的采訪,雙方確定采用微軟最新操作系統和雲驅動的Microsoft 365服務的客戶在未來三年內可能會節省數百萬美元。以下是這份報

2022-08-03

自 OpenCAPI 的所有相關技術,以及該組織鮮為人知的開放內存接口 (OMI) 標準,該標準允許通過 OpenCAPI 的物理總線將 DRAM 連接到系統。本質上,CXL 聯盟將吸收 OpenCAPI;雖然出於顯而易見的原因他們不會繼續開發,但轉移意味著 Open

2024-04-15

3%,創歷史最高在行業復蘇的背景下,三星電子憑借其在內存芯片市場的領先地位,實現營業利潤的暴漲,為行業帶來強烈的震動。4月5日,三星電子表示,隨著芯片價格反彈,預計第一季度營業利潤將增長931%。(三星將於4月30

2024-04-03

據報道,三星推出一款名為CXL分層內存混合內存模塊(CMM-HTM:CXLMemoryModule-HybridforTieredMemory)的新型ComputeExpressLink(CXL)附加卡,該卡添加可由CPU和加速器遠程訪問的額外RAM和閃存。該擴展卡混合高速DRAM和NAND閃存,旨在提供一種經濟

2023-10-14

今高性能異構計算的要求,並且提供更高的帶寬及更好的內存一致性。其建立在PCIe 5.0標準的物理和電氣接口上,目前最新規范已來到Compute EXpress Link 3.0。爭奪CXL市場的核心自然就是DRAM,三星和SK海力士是全球第一和第二大存儲

2022-08-25

此外我們將鼎力支持 JEDEC 當前正在專註的、針對 CXL 附加內存模組的特定標準的創建。最後,想要參與聯合工作組的企業,也必須是 CXL 聯盟與 JEDEC 固態技術協會的成員、且與各自的 IPR 政策相捆綁。

2022-08-03

L 3.0 規范的要點:● CXL 3.0 規范引入結構管理功能,改進內存共享與池化、增強的一致性,以及 P2P 對等通信。● CXL 3.0 規范提供兩倍於 CLX 2.0 的數據傳輸速率,提升到 64 GT/s,目前已可供公眾使用。● CXL 聯盟與合作公司將在 8

2022-08-16

境來編寫代碼(而無需擔心本地設備的架構)。(來自:Microsoft Blog)在早期封測(Private Preview)階段,Dev Box 僅向候補名單中的少數開發者開放體驗。但隨著公測(Public Preview)的開啟,更多人可以體驗其與 Azure 部署環境、Intun

2023-11-16

面面的新產品和新功能。薩提亞展示 Azure Cobalt CPU 芯片|Microsoft其中,既有 Azure Cobalt、Azure Maia 這樣專門為 AI 打造的 ARM 架構 CPU 和 AI 加速芯片,也有重新為 AI 設計的端到端機架,微軟甚至重新改進線纜中的光纖技術,隻為比

2023-11-14

工作負載優化性能和高能效計算。同時,更快的 DDR5-5600 內存的加入將帶來更高的帶寬和傳輸速度。第五代 Xeon 還將提供 CXL 1.0 和 2.0 支持,以及 80 個 PCIe Gen 5.0 通道。英特爾宣稱性能將提升 40%。詳情如下:英特爾 Emerald Rapids(

2022-07-26

在DDR5內存剛成為主流不久,如今三星又已經率先開始下一代DDR6內存的早期開發,並預計在2024年之前完成設計。據悉,在近日召開的研討會上,三星負責測試和系統封裝(TSP)的副總裁透露,隨著未來內存本身性能的擴大,封裝

2023-09-30

公司施加的壓力下,供應商將不良率降至十分之一,從而節省數億美元的費用。

2023-11-09

己的人工智能服務提供的一些硬件。解更多:https://blogs.microsoft.com/blog/2023/11/07/startups-to-access-high-performance-azure-infrastructure-accelerating-ai-breakthroughs/本周,微軟宣佈計劃讓初創公司訪問其 Azure AI 服務,其中包括能夠使用其 GPU 虛擬

2022-09-29

媒報道,英特爾公司已經在一個多月前通知傲騰(Optane)內存業務部門員工停止相關業務,今後不再會有新產品,庫存處理完之後也將不再生產,傲騰品牌將成為歷史。相關人士強調,雖然之前英特爾透露將關閉傲騰業務,但並