當(dāng)前位置:首頁 > 公眾號精選 > 后端技術(shù)指南針
[導(dǎo)讀]1.號外號外 各位老鐵,大家好! 上周大白有事停更1次,最近在想如何讓大家在10分鐘中有所收獲,于是準備搞一個"什么是xxx"系列,寫一些精悍的知識點。 先拋一道阿里面試題給大家熱熱身,引出今天的主角-缺頁異常Page Fault。 談?wù)剬θ表摦惓age Fault的理解

1.號外號外

各位老鐵,大家好!

上周大白有事停更1次,最近在想如何讓大家在10分鐘中有所收獲,于是準備搞一個"什么是xxx"系列,寫一些精悍的知識點。

先拋一道阿里面試題給大家熱熱身,引出今天的主角-缺頁異常Page Fault。

談?wù)剬θ表摦惓age Fault的理解。

話不多說,集合上車。

2. 術(shù)語約定

  • VA:Virtual Address 虛擬地址
  • PA:Physical Address 物理地址
  • MMU:Memory Manage Unit 內(nèi)存管理單元
  • TLB:Translation Lookaside Buffer 旁路快表緩存/地址變換高速緩存
  • PTE:Page Table Entry 分頁表項

3. 內(nèi)存的惰性分配

以32位的Linux系統(tǒng)為例,每個進程獨立擁有4GB的虛擬地址空間,根據(jù)局部性原理沒有必要也不可能為每個進程分配4GB的物理地址空間。

64位系統(tǒng)也是一樣的道理,只不過空間尋址范圍大了很多很多倍,進程的虛擬地址空間會分為幾個部分:

實際上只有程序運行時用到了才去內(nèi)存中尋找虛擬地址對應(yīng)的頁幀,找不到才可能進行分配,這就是內(nèi)存的惰性(延時)分配機制

對于一個運行中的進程來說,不是所有的虛擬地址在物理內(nèi)存中都有對應(yīng)的頁,如圖展示了部分虛擬地址存在對應(yīng)物理頁的情況:

虛擬地址空間根據(jù)固定大小一般是4KB進行劃分,物理內(nèi)存可以設(shè)置不同的頁面大小,通常物理頁大小和虛擬頁大小是一樣的,本文按照物理頁4KB大小展開。

經(jīng)過前面的分析,我們將面臨一個問題:如何將虛擬地址準確快速地映射到物理頁呢?

>>>高能預(yù)警 敲黑板 本段小結(jié)<<<
1. Linux的虛擬地址空間就是空頭支票,看著很大但是實際對應(yīng)的物理空間只有很少的一部分。

2.內(nèi)存的惰性分配是個有效的機制,可以保證內(nèi)存利用率和服務(wù)器利用率,是資源合理配置的方法。

3.大量的虛擬地址到物理地址的快速準確地查詢轉(zhuǎn)換是一個難題。

4. CPU如果獲取內(nèi)存中的數(shù)據(jù)

CPU并不直接和物理內(nèi)存打交道,而是把地址轉(zhuǎn)換的活外包給了MMU,MMU是一種硬件電路,其速度很快,主要工作是進行內(nèi)存管理,地址轉(zhuǎn)換只是它承接的業(yè)務(wù)之一。

一起看看MMU是如何搞定地址轉(zhuǎn)換的。

4.1 MMU和Page Table

每個進程都會有自己的頁表Page Table,頁表存儲了進程中虛擬地址到物理地址的映射關(guān)系,所以就相當(dāng)于一張地圖,MMU收到CPU的虛擬地址之后開始查詢頁表,確定是否存在映射以及讀寫權(quán)限是否正常,如圖:

對于4GB的虛擬地址且大小為4KB頁,一級頁表將有2^20個表項,頁表占有連續(xù)內(nèi)存并且存儲空間大,多級頁表可以有效降低頁表的存儲空間以及內(nèi)存連續(xù)性要求,但是多級頁表同時也帶來了查詢效率問題

我們以2級頁表為例,MMU要先進行兩次頁表查詢確定物理地址,在確認了權(quán)限等問題后,MMU再將這個物理地址發(fā)送到總線,內(nèi)存收到之后開始讀取對應(yīng)地址的數(shù)據(jù)并返回。

MMU在2級頁表的情況下進行了2次檢索和1次讀寫,那么當(dāng)頁表變?yōu)镹級時,就變成了N次檢索+1次讀寫。

可見,頁表級數(shù)越多查詢的步驟越多,對于CPU來說等待時間越長,效率越低,這個問題還需要優(yōu)化才行。

>> 本段小結(jié) 敲黑板 劃重點 <<
1.頁表存在于進程的內(nèi)存之中,MMU收到虛擬地址之后查詢Page Table來獲取物理地址。

2.單級頁表對連續(xù)內(nèi)存要求高,于是引入了多級頁表,但是多級頁表也是一把雙刃劍,在減少連續(xù)存儲要求且減少存儲空間的同時降低了查詢效率。

4.2 MMU和TLB的故事

MMU和TLB的故事就這樣開始了...

CPU覺得MMU干活雖然賣力氣,但是效率有點低,不太想繼續(xù)外包給它了,這一下子把MMU急壞了。

MMU于是找來了一些精通統(tǒng)計的朋友,經(jīng)過一番研究之后發(fā)現(xiàn)CPU用的數(shù)據(jù)經(jīng)常是一小搓,但是每次MMU都還要重復(fù)之前的步驟來檢索,害,就知道埋頭干活了,也得講究方式方法呀!

找到瓶頸之后,MMU引入了新武器,江湖人稱快表的TLB,別看TLB容量小,但是正式上崗之后干活還真是不含糊。

當(dāng)CPU給MMU傳新虛擬地址之后,MMU先去問TLB那邊有沒有,如果有就直接拿到物理地址發(fā)到總線給內(nèi)存,齊活。

TLB容量比較小,難免發(fā)生Cache Miss,這時候MMU還有保底的老武器頁表 Page Table,在頁表中找到之后MMU除了把地址發(fā)到總線傳給內(nèi)存,還把這條映射關(guān)系給到TLB,讓它記錄一下刷新緩存。

TLB容量不滿的時候就直接把新記錄存儲了,當(dāng)滿了的時候就開啟了淘汰大法把舊記錄清除掉,來保存新記錄,彷佛完美解決了問題。

在TLB和Page Table加持之下,CPU感覺最近MMU比較給力了,就問MMU怎么做到的?MMU就一五一十告訴了CPU。

CPU說是個不錯的路子,隨后說出了自己的建議:TLB還是有點小,緩存不命中也是經(jīng)常發(fā)生的,要不要搞個大的,這樣存儲更多訪問更快?

MMU一臉苦笑說道大哥TLB很貴的,要不你給漲點外包費?話音未落,CPU就說漲工資是不可能了,這輩子都不可能了。

>>>高能預(yù)警 敲黑板 本段小結(jié)<<<
1. CPU要根據(jù)用戶進程提供的虛擬地址來獲取真實數(shù)據(jù),但是它并不自己做而是交給了MMU。

2. MMU也是個聰明的家伙,集成了TLB來存儲CPU最近常用的頁表項來加速尋址,TLB找不到再去全量頁表尋址,可以認為TLB是MMU的緩存。

3. TLB的容量畢竟有限,為此必須依靠Page Table一起完成TLB Miss情況的查詢,并且更新到TLB建立新映射關(guān)系。

5.缺頁異常Page Fault大揭秘

設(shè)想CPU給MMU的虛擬地址在TLB和Page Table都沒有找到對應(yīng)的物理頁幀或者權(quán)限不對,該怎么辦呢?

沒錯,這就是缺頁異常Page Fault,它是一個由硬件中斷觸發(fā)的可以由軟件邏輯糾正的錯誤。


5.1 PageFault,它來了

假如目標(biāo)內(nèi)存頁在物理內(nèi)存中沒有對應(yīng)的頁幀或者存在但無對應(yīng)權(quán)限,CPU 就無法獲取數(shù)據(jù),這種情況下CPU就會報告一個缺頁錯誤。

由于CPU沒有數(shù)據(jù)就無法進行計算,CPU罷工了用戶進程也就出現(xiàn)了缺頁中斷,進程會從用戶態(tài)切換到內(nèi)核態(tài),并將缺頁中斷交給內(nèi)核的 Page Fault Handler 處理。

缺頁異常并不可怕,只要CPU要的虛擬地址經(jīng)過MMU的一番尋址之后沒有找到或者找到后無權(quán)限,就會出現(xiàn)缺頁異常,因此觸發(fā)異常后的處理流程將是重點內(nèi)容。

5.2 缺頁錯誤的分類處理

缺頁中斷會交給PageFaultHandler處理,其根據(jù)缺頁中斷的不同類型會進行不同的處理:

  • Hard Page Fault
    也被稱為Major Page Fault,翻譯為硬缺頁錯誤/主要缺頁錯誤, 這時物理內(nèi)存中沒有對應(yīng)的頁幀,需要CPU打開磁盤設(shè)備讀取到物理內(nèi)存中,再讓MMU建立VA和PA的映射。
  • Soft Page Fault
    也被稱為Minor Page Fault,翻譯為軟缺頁錯誤/次要缺頁錯誤, 這時物理內(nèi)存中是存在對應(yīng)頁幀的,只不過可能是其他進程調(diào)入的,發(fā)出缺頁異常的進程不知道而已,此時MMU只需要建立映射即可,無需從磁盤讀取寫入內(nèi)存,一般出現(xiàn)在多進程共享內(nèi)存區(qū)域。
  • Invalid Page Fault
    翻譯為無效缺頁錯誤,比如進程訪問的內(nèi)存地址越界訪問,又比如對空指針解引用內(nèi)核就會報segment fault錯誤中斷進程直接掛掉。

5.3 缺頁錯誤出現(xiàn)的原因

不同類型的Page Fault出現(xiàn)的原因也不一樣,常見的幾種原因包括:

  • 非法操作訪問越界
    這種情況產(chǎn)生的影響也是最大的,也是Coredump的重要來源,比如空指針解引用或者權(quán)限問題等都會出現(xiàn)缺頁錯誤。
  • 使用malloc新申請內(nèi)存
    malloc機制是延時分配內(nèi)存,當(dāng)使用malloc申請內(nèi)存時并未真實分配物理內(nèi)存,等到真正開始使用malloc申請的物理內(nèi)存時發(fā)現(xiàn)沒有才會啟動申請,期間就會出現(xiàn)Page Fault。
  • 訪問數(shù)據(jù)被swap換出
    物理內(nèi)存是有限資源,當(dāng)運行很多進程時并不是每個進程都活躍,對此OS會啟動內(nèi)存頁面置換將長時間未使用的物理內(nèi)存頁幀放到swap分區(qū)來騰空資源給其他進程,當(dāng)存在于swap分區(qū)的頁面被訪問時就會觸發(fā)Page Fault從而再置換回物理內(nèi)存。

>>> 敲黑板 劃重點 本段小結(jié):<<<
觸發(fā)Page Fault的原因可能有很多,歸根到底也只有幾種大類:

1. 如使用共享內(nèi)存區(qū)域,沒有存儲VA->PA的映射但是存在物理頁幀的軟缺頁錯誤,在Page Table/TLB中建立映射關(guān)系即可。

2. 訪問的地址在物理內(nèi)存中確實不存在,需要從磁盤/swap分區(qū)讀入才能使用,這種性能影響會比較大,因為磁盤太慢了,盡量使用高性能的SSD來降低延時。

3. 訪問的地址內(nèi)存非法,缺頁錯誤會升級觸發(fā)SIGSEGV信號結(jié)束進程,這種屬于可以導(dǎo)致進程掛掉的一種缺頁錯誤。

6.全文總結(jié)

本文粗淺地和大家一起學(xué)習(xí)了Page Fault的相關(guān)知識點,包括Linux虛擬地址和物理地址的關(guān)系、CPU獲取內(nèi)存數(shù)據(jù)的過程、MMU和TLB&頁表的協(xié)同配合、缺頁異常產(chǎn)生的原因和分類處理。

本文并沒有對MMU的內(nèi)部機制、內(nèi)核態(tài)&用戶態(tài)缺頁異常、缺頁異常處理函數(shù)等內(nèi)容進行展開,主要是因為這部分內(nèi)容相對晦澀,還得靠自己深入研究。

本文旨在把火點燃而不是把桶填滿,對于文中相關(guān)知識點,歡迎交流溝通學(xué)習(xí)。

感謝各位老鐵的傾情安排,下期再見!

免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺僅提供信息存儲服務(wù)。文章僅代表作者個人觀點,不代表本平臺立場,如有問題,請聯(lián)系我們,謝謝!

本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉