Facebook開發新的THP收縮機制以避免Linux內存浪費


Meta/Facebook的工程師宣佈他們在THPShrinker方面的工作,這是一種讓Linux的透明頁(THP)工作更有效率的方法,主要原理是通過移除未被充分利用的透明頁來避免內存浪費。

THP對於某些工作負載來說,通過減少TLB緩存的未命中狀態可以提高效率,但是2MB與4Kb的頁面大小如果沒有得到有效利用,反而會導致大量的內存浪費。

Facebook的工程師在他們的一個平臺上發現,由於THP沒有得到充分利用,甚至讓每臺機器造成大約2.7GB的內存浪費。

Facebook正在為Linux內核開發的THP收縮機制旨在解決這種浪費,與此同時仍然可以享受THP以提高CPU效率的優勢,THP Shrinker將分割利用率最低的大內存頁面。

THP Shrinker旨在避免浪費RAM,並盡可能讓大內存頁面透明並對外開放,使其無條件地啟用,從而替代基於madevise系統調用的選擇。

Facebook的工程師們正在努力圍繞這個THP Shrinker增加額外的調整,並可能與CPU/IO/內存壓力事件掛鉤。最終,工程師希望通過THP收縮器可以直接廢除Linux的madvise THP模式,並切換到THP為所有應用程序啟用。

關於這個有趣的內核開發的更多細節,請看lore.kernel.org:

https://lore.kernel.org/lkml/[email protected]/

現在這個THP收縮器隻是500多行的新內核代碼。


相關推薦

2024-04-22

LinusTorvalds對硬件錯誤、“邪惡的”開發者和搞笑的人工智能炒作發表自己的看法。幾天前,由Linux基金會主辦的北美開源峰會(OpenSourceSummitNorthAmerica)在華盛頓西雅圖閉幕。會上,Linux 之父 Linus Torvalds 與其好友、Verizon 開源項

2023-06-14

快科技6月13日消息,近日,Intel針對Linux推出v2版集群調度補丁。根據Intel官方介紹,通過新補丁的集群調度代碼,Linux系統下的進程調度水平獲得提升,這將提升Intel 12代及之後CPU在Linux系統上的性能。Intel稱,在2021年的Linux 5.16版

2024-03-15

其他常規更改。不過,NVIDIA的Grace-Hopper超級芯片也因此有新的驅動程序。NVIDIA公司為 Grace Hopper 超級芯片提供一個 VFIO PCI 變體模塊,以應對該大型芯片的特殊性。Linux 6.9 的VFIO 拉取請求解釋英偉達的新代碼:"為NVIDIA的 Grace-Ho

2022-07-25

動/重啟時間中減少幾毫秒,這就其對Linux優化的目的:最新的Kexec重啟系列補丁。像許多其他大型組織一樣,ByteDance依靠Kexec重啟來轉移到新的內核,無論是出於安全、維護還是優化的原因。通過使用Kexec,他們避免服務器POST'

2022-07-21

除RedHat正忙於為未來的Fedora和RHEL版本開發新的基於網絡的Anaconda安裝程序外,SUSE的工程師們也一直在追求他們自己的基於網絡的安裝程序,其建立在YaST之上。D-Installer0.4最近發佈,作為這方面的最新改進。SUSE在今年年初宣佈他

2022-10-08

去年,英特爾宣佈開發HorseCreek平臺,與SiFive合作開發新的高性能RISC-V開發系統,作為該公司英特爾代工服務(IFS)的一部分,並努力促進RISC-V的采用。據稱,這些開發板是SiFive自己的HiFive開發板的延續,旨在發展RISC-V生態系統

2024-03-11

持更新 Bcachefs 文件系統的基本在線文件系統檢查和修復機制對樹莓派 5 使用的博通 BCM2712 芯片提供支持基於 AMD ACPI 的 WiFi 頻段 RFI 緩解功能zswap、CephFS 等功能優化針對龍芯架構的 Rust 初始支持:從 6.8 版開始 Linux Kernel 在龍芯架

2022-07-02

的時候,Linus 發明瞭 Git,讓包括 Linux 在內的開源項目的開發變得更加有效率。從此開始,在過去的至少 15 年裡,Linux 內核的開發流程和發佈規律一樣一直保持著相對不變的節奏。Linus 稱,看起來維護 Linux 這一工作很平淡、枯

2024-02-15

的工作已經在進行中,但今天上午又有人提議為Linux內核開發一種新的"沙箱模式"(SandBoxMode),以提高內核中C代碼的內存安全性。華為公司的 Petr Tesarik 發出關於新 SandBox 模式的"征求意見"補丁系列。P

2022-08-11

I PRM 也獲得 Linux 6.0 上的 ARM64 硬件支持。該平臺的運行時機制,可用於公開一組能夠從 AML 解釋器調用的二進制 / 可執行文件。在 ARM64 服務器上啟用此 ACPI PRM 支持,將能夠減少某些服務器平臺上的系統初始化計算開銷。最後,Li

2024-02-27

位分佈在印度班加羅爾和加利福尼亞桑尼維爾。在印度,Facebook 母公司正在招聘一名ASIC 工程師,為其數據中心構建硬件加速器。招聘信息稱,這名新員工將成為 ASIC 團隊不可或缺的一員,該團隊致力於開發最先進的芯片架構,

2022-09-30

脆徹底關閉。過去幾周,微軟收縮探月計劃部門的雄心,Facebook縮減實驗產品團隊規模,Google砍掉與其CEO追求人工智能這一更大使命不一致的項目。在這些公司內部,領導者們將此舉歸咎於市場的不確定性,但內部人士也指出,

2022-11-12

美國國傢安全局(NSA)正在敦促開發人員轉向內存安全語言--如C#、Go、Java、Ruby、Rust和Swift--以保護他們的代碼免受遠程代碼執行或其他黑客攻擊。在上述語言中,Java是企業和Android應用開發中使用最廣泛的語言,而Swift是排名前

2022-10-13

企業的資產負債表( 通常用來反映企業的財務狀況 )會收縮,以至於企業看起來沒啥前途,抵押品價值會降低,那銀行就會不願意貸款給它們,畢竟銀行是為賺錢才批貸款的。但這樣又進一步導致企業的資產負債表收縮,形成