字節跳動研究人員借助AI調整Linux內核 令其性能顯著提高


Linux為開發人員和工程師提供一種"調整"其運行的方法,它提供數千個單獨的參數,可以調整開源內核管理資源的方式。這種調整方式可以更快捷地提高運行性能,而不需要重新編譯內核,但這仍然是一項具有挑戰性的工作,即使對於最熟練的自由和開放源碼軟件編程人員來說也是如此。

圖片.png

內核調優是一項極具挑戰性的工作,因此有人試圖利用人工智能來代替人類開發人員處理這項工作。中國科技公司字節跳動(ByteDance)最近公佈 Linux 內核自動調整的測試結果,這是一種基於人工智能的解決方案,可以解放人類工程師,通過分析歷史數據做出更好的調整決策--人類通常會發現這是一項具有挑戰性的任務。

通過調整實現最佳 Linux 性能是一個耗時的過程,需要 Linux 專傢進行大量實驗。不同的工作負載需要針對不同的內核參數集采用不同的調整方法。字節跳動的開發人員 Cong Wang 提到,在大規模數據中心(如該公司使用的數據中心)中,針對"數以百計"的不同工作負載手動調整 Linux 內核幾乎是不可能的。

雖然確實存在旨在簡化內核調整的工具,但它們提供的是特定類型的優化。字節跳動的方法旨在推出內核調整領域的首個自動化解決方案--一種能夠以最小的工程投入覆蓋所有 Linux 調整參數的技術。

Wang的團隊特別關註Linux內存管理系統的優化。通過采用貝葉斯優化等機器學習算法,該公司發現自動參數調整可以取得比大多數Linux內核工程師通常所取得的更好的結果。

字節跳動的自動調整工具旨在根據特定的工作負載和硬件配置自動調整 Linux 內部設置。內核經過動態調整,可確保在各種情況下都能實現最佳性能,從而解決長期以來需要針對每個計算實例手動調整內核的難題。

在大多數情況下,Wang 及其同事基於人工智能的自動調整似乎效果顯著。根據字節跳動的介紹,機器學習算法可以通過實時監控內核性能來動態優化系統,通過優化資源使用來提高效率。人工智能系統還擁有友好的用戶界面,讓技術知識有限的用戶也能從更好用的內核中受益。同時,高級用戶可以自定義自動調整參數。

字節跳動聲稱,機器學習算法可將應用程序的內存使用率降低 30%,或優化 NGINX 服務器上的 HTTP 網絡延遲,從而使網絡性能比手動調整提高 12%。在雲計算和數據中心場景中,這些改進可以顯著節約成本並優化性能。開發人員承認,通過機器學習進行內核自動調整並非在每種情況下都有效,但預計它將變得越來越必要。

訪問文檔解更多:

https://lpc.events/event/17/contributions/1520/attachments/1152/2582/Linux%20Kernel%20Autotuning.pdf


相關推薦

2022-07-25

作為TikTok背後的中國公司,ByteDance(字節跳動)在過去幾年中一直致力於許多Linux內核的優化,他們最近的工作是加快內核的Kexec重啟。由於公司龐大的服務器群需要為TikTok和其他應用程序提供動力,他們必須盡其所能從其服務

2024-06-25

快科技6月24日消息,有傳聞稱,字節跳動正在與美國芯片制造商博通合作開發先進的AI處理器。據說,這款AI處理器將采用5nm工藝制造,由臺積電負責生產,盡管設計工作進展順利,但目前尚未開始流片”階段,即設計階段結束

2024-03-26

於有大量HugeTLB頁面的系統,這可以顯著縮短啟動時間。字節跳動公司的 Linux 開發人員 Gang Li 投入大量時間,經過多輪審查,終於使 HugeTLB 頁面初始化成功。Gang Li 在早期的系列補丁中解釋說:"啟動過程中的 Hugetlb 初始化會

2022-07-25

精簡互聯網,投身硬科技,這還是那個我們熟悉的字節嗎?7月21日,據界面新聞從字節跳動內部人士獲悉,CEO梁汝波將個人OKR中的一項更新為“大幅降低2022—2023年招聘計劃,降低組織規模增速,並提升組織效率。”盡管字節跳

2023-11-28

字節跳動遊戲業務版塊最近接連迎來三次沖擊。先是字節跳動的虛擬現實業務PICO進行大規模裁員和轉崗,其後字節跳動的子公司沐瞳科技也傳出被出售的消息。現在,輪到朝夕光年。上周日,有關字節跳動遊戲業務朝夕光年即

2022-09-17

平衡:既要成為一名獨立自主的領導者,又能滿足母公司字節跳動的要求。今年6月,TikTok在寫給美國議員的一封信中表示,TikTok由其自己的全球CEO、常駐新加坡的新加坡人周受資領導。但是實際上,根據TikTok和字節跳動的12名前

2022-10-13

這也是自今年5月字節跳動(香港)有限公司更名抖音集團(香港)有限公司後,公司進一步“去字節跳動”的重要信號。抖音集團已換新裝!10月12日,字節跳動被曝出旗下數個公司陸續更名,由“抖音”替代“字節跳動”成為

2023-11-09

字節跳動旗下的VR(虛擬現實)業務,被爆正式裁員。11月7日,字節跳動旗下VR部門PICO發佈內部通知,宣佈進行裁員,並對組織架構進行調整。據“AI鯨選社”報道,這輪裁員預計達80%,涉及市場、遊戲、視頻、直播等團隊,隻

2022-07-14

據《科創板日報》報道,字節跳動正招聘大量芯片相關工程師崗位,包括SoC和Core的前端設計,模型性能分析,驗證,底層軟件和驅動開發,低功耗設計、芯片安全等。據解,目前字節芯片團隊分為服務器芯片、AI芯片以及視頻雲

2022-08-09

正在迎來一輪新的行業大洗牌。一邊是巨頭爭相入局:繼字節去年底推出自有雲服務後,快手也在8月初對外宣佈進軍ToB領域,即將發佈面向企業側的StreamLake品牌,這被視為快手雲服務正式上線的前奏。另一邊則是標榜中立的獨

2024-03-27

美國國會推進TikTok剝離法案,美國投資者對於TikTok母公司字節跳動的投資情況也逐步被曝光。眼下,這些美國投資者面臨一個棘手問題:如何將這些年積攢的巨額投資收益變現?字節跳動的美國投資者包括泛大西洋資本集團、海

2024-03-29

都縮減員工獎勵,各大互聯網廠商也不例外,不過今天,字節跳動宣佈一項額外的員工激勵。根據字節跳動發佈的全員信,2023全年綜合績效在M及以上的員工,將在實際評定獎金月數的基礎上,額外獲得期權激勵。其中,綜合績

2022-09-29

前腳拼多多Temu剛在9月上線,緊接著字節跳動新的快時尚跨境獨立站IfYooou也開始被外界註意。繼SheIn出圈後,國內的互聯網巨頭們便盯上這個生意。相對於近期拼多多Temu的出場方式,字節IfYooou這次的出場方式更為低調。文/周逸

2022-06-24

不斷鞏固他們在廣告市場的統治力,但是TikTok及其母公司字節跳動正逐漸成為這一統治力的最嚴重威脅。TikTok是美國最令人上癮的社交應用盡管已經擁有瞭10億月活躍用戶,但TikTok的規模仍然小於Meta旗下兩大社交平臺Facebook(29億)