當(dāng)前位置:首頁(yè) > 技術(shù)學(xué)院 > 技術(shù)前線
[導(dǎo)讀]隨著大數(shù)據(jù),智能化必然帶來(lái)海量數(shù)據(jù)的處理,傳輸和儲(chǔ)存,對(duì)于系統(tǒng)CPU,內(nèi)存,網(wǎng)絡(luò)都帶來(lái)了巨大的性能壓力,其中內(nèi)存的合理使用無(wú)疑對(duì)設(shè)備的性能起到至關(guān)重要的作用,如何有效的使用內(nèi)存最大限度的發(fā)揮內(nèi)存的性能優(yōu)勢(shì),以及避免內(nèi)存耗盡帶來(lái)的宕機(jī)的危險(xiǎn),成為各廠商的最常見(jiàn)的問(wèn)題,同時(shí)由于內(nèi)存出現(xiàn)問(wèn)題的多樣性,和難以定位根因等因素也成為困擾研發(fā)和系統(tǒng)集成工作者老大難問(wèn)題。

在服務(wù)器,工控機(jī),嵌入式aarch64硬件架構(gòu)的基礎(chǔ)上搭載linux操作系統(tǒng)作為基礎(chǔ)操作系統(tǒng),處理各種業(yè)務(wù)數(shù)據(jù)已經(jīng)成為各種智能設(shè)備和服務(wù)提供商的主流基礎(chǔ)架構(gòu)。

但是隨著大數(shù)據(jù),智能化必然帶來(lái)海量數(shù)據(jù)的處理,傳輸和儲(chǔ)存,對(duì)于系統(tǒng)CPU,內(nèi)存,網(wǎng)絡(luò)都帶來(lái)了巨大的性能壓力,其中內(nèi)存的合理使用無(wú)疑對(duì)設(shè)備的性能起到至關(guān)重要的作用,如何有效的使用內(nèi)存最大限度的發(fā)揮內(nèi)存的性能優(yōu)勢(shì),以及避免內(nèi)存耗盡帶來(lái)的宕機(jī)的危險(xiǎn),成為各廠商的最常見(jiàn)的問(wèn)題,同時(shí)由于內(nèi)存出現(xiàn)問(wèn)題的多樣性,和難以定位根因等因素也成為困擾研發(fā)和系統(tǒng)集成工作者老大難問(wèn)題。

本文針對(duì)主要的幾類在高并發(fā)高IO應(yīng)用場(chǎng)景下出現(xiàn)的現(xiàn)場(chǎng)問(wèn)題進(jìn)行問(wèn)題定位和解決邏輯分析,為相關(guān)行業(yè)從業(yè)者提供類似情況的問(wèn)題解決思路,跛行策略。

Linux 內(nèi)存是后臺(tái)開(kāi)發(fā)人員,需要深入了解的計(jì)算機(jī)資源。合理的使用內(nèi)存,有助于提升機(jī)器的性能和穩(wěn)定性。本文主要介紹Linux 內(nèi)存組織結(jié)構(gòu)和頁(yè)面布局,內(nèi)存碎片產(chǎn)生原因和優(yōu)化算法,Linux 內(nèi)核幾種內(nèi)存管理的方法,內(nèi)存使用場(chǎng)景以及內(nèi)存使用的那些坑。從內(nèi)存的原理和結(jié)構(gòu),到內(nèi)存的算法優(yōu)化,再到使用場(chǎng)景,去探尋內(nèi)存管理的機(jī)制和奧秘。

一、走進(jìn) linux 內(nèi)存

1、內(nèi)存是什么?

1)內(nèi)存又稱主存,是 CPU 能直接尋址的存儲(chǔ)空間,由半導(dǎo)體器件制成

2)內(nèi)存的特點(diǎn)是存取速率快

2、內(nèi)存的作用

1)暫時(shí)存放 cpu 的運(yùn)算數(shù)據(jù)

2)硬盤等外部存儲(chǔ)器交換的數(shù)據(jù)

3)保障 cpu 計(jì)算的穩(wěn)定性和高性能


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

二、 Linux 內(nèi)存地址空間

1、Linux 內(nèi)存地址空間 Linux 內(nèi)存管理全貌


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

2、內(nèi)存地址——用戶態(tài)&內(nèi)核態(tài)

用戶態(tài):Ring3 運(yùn)行于用戶態(tài)的代碼則要受到處理器的諸多

內(nèi)核態(tài):Ring0 在處理器的存儲(chǔ)保護(hù)中,核心態(tài)

用戶態(tài)切換到內(nèi)核態(tài)的 3 種方式:系統(tǒng)調(diào)用、異常、外設(shè)中斷

區(qū)別:每個(gè)進(jìn)程都有完全屬于自己的,獨(dú)立的,不被干擾的內(nèi)存空間;用戶態(tài)的程序就不能隨意操作內(nèi)核地址空間,具有一定的安全保護(hù)作用;內(nèi)核態(tài)線程共享內(nèi)核地址空間;


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

3、內(nèi)存地址——MMU 地址轉(zhuǎn)換

MMU 是一種硬件電路,它包含兩個(gè)部件,一個(gè)是分段部件,一個(gè)是分頁(yè)部件

分段機(jī)制把一個(gè)邏輯地址轉(zhuǎn)換為線性地址

分頁(yè)機(jī)制把一個(gè)線性地址轉(zhuǎn)換為物理地址

4、內(nèi)存地址——分段機(jī)制

1) 段選擇符

為了方便快速檢索段選擇符,處理器提供了 6 個(gè)分段寄存器來(lái)緩存段選擇符,它們是:cs,ss,ds,es,fs 和 gs

段的基地址(Base Address):在線性地址空間中段的起始地址

段的界限(Limit):在虛擬地址空間中,段內(nèi)可以使用的最大偏移量

2) 分段實(shí)現(xiàn)

邏輯地址的段寄存器中的值提供段描述符,然后從段描述符中得到段基址和段界限,然后加上邏輯地址的偏移量,就得到了線性地址

5、內(nèi)存地址——分頁(yè)機(jī)制(32 位)

分頁(yè)機(jī)制是在分段機(jī)制之后進(jìn)行的,它進(jìn)一步將線性地址轉(zhuǎn)換為物理地址

10 位頁(yè)目錄,10 位頁(yè)表項(xiàng), 12 位頁(yè)偏移地址

單頁(yè)的大小為 4KB


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

6、用戶態(tài)地址空間


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

TEXT:代碼段可執(zhí)行代碼、字符串字面值、只讀變量

DATA:數(shù)據(jù)段,映射程序中已經(jīng)初始化的全局變量

BSS 段:存放程序中未初始化的全局變量

HEAP:運(yùn)行時(shí)的堆,在程序運(yùn)行中使用 malloc 申請(qǐng)的內(nèi)存區(qū)域

MMAP:共享庫(kù)及匿名文件的映射區(qū)域

STACK:用戶進(jìn)程棧

7、內(nèi)核態(tài)地址空間


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

直接映射區(qū):線性空間中從 3G 開(kāi)始最大 896M 的區(qū)間,為直接內(nèi)存映射區(qū)

動(dòng)態(tài)內(nèi)存映射區(qū):該區(qū)域由內(nèi)核函數(shù) vmalloc 來(lái)分配

永久內(nèi)存映射區(qū):該區(qū)域可訪問(wèn)高端內(nèi)存

固定映射區(qū):該區(qū)域和 4G 的頂端只有 4k 的隔離帶,其每個(gè)地址項(xiàng)都服務(wù)于特定的用途,如:ACPI_BASE 等

8、進(jìn)程內(nèi)存空間

用戶進(jìn)程通常情況只能訪問(wèn)用戶空間的虛擬地址,不能訪問(wèn)內(nèi)核空間虛擬地址

內(nèi)核空間是由內(nèi)核負(fù)責(zé)映射,不會(huì)跟著進(jìn)程變化;內(nèi)核空間地址有自己對(duì)應(yīng)的頁(yè)表,用戶進(jìn)程各自有不同額頁(yè)表


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

三、 Linux 內(nèi)存分配算法

內(nèi)存管理算法——對(duì)討厭自己管理內(nèi)存的人來(lái)說(shuō)是天賜的禮物

1、內(nèi)存碎片

1) 基本原理

產(chǎn)生原因:內(nèi)存分配較小,并且分配的這些小的內(nèi)存生存周期又較長(zhǎng),反復(fù)申請(qǐng)后將產(chǎn)生內(nèi)存碎片的出現(xiàn)

優(yōu)點(diǎn):提高分配速度,便于內(nèi)存管理,防止內(nèi)存泄露

缺點(diǎn):大量的內(nèi)存碎片會(huì)使系統(tǒng)緩慢,內(nèi)存使用率低,浪費(fèi)大

2) 如何避免內(nèi)存碎片

少用動(dòng)態(tài)內(nèi)存分配的函數(shù)(盡量使用??臻g)

分配內(nèi)存和釋放的內(nèi)存盡量在同一個(gè)函數(shù)中

盡量一次性申請(qǐng)較大的內(nèi)存,而不要反復(fù)申請(qǐng)小內(nèi)存

盡可能申請(qǐng)大塊的 2 的指數(shù)冪大小的內(nèi)存空間

外部碎片避免——伙伴系統(tǒng)算法

內(nèi)部碎片避免——slab 算法

自己進(jìn)行內(nèi)存管理工作,設(shè)計(jì)內(nèi)存池

2、伙伴系統(tǒng)算法——組織結(jié)構(gòu)

1) 概念

為內(nèi)核提供了一種用于分配一組連續(xù)的頁(yè)而建立的一種高效的分配策略,并有效的解決了外碎片問(wèn)題

分配的內(nèi)存區(qū)是以頁(yè)框?yàn)榛締挝坏?

2) 外部碎片

外部碎片指的是還沒(méi)有被分配出去(不屬于任何進(jìn)程),但由于太小了無(wú)法分配給申請(qǐng)內(nèi)存空間的新進(jìn)程的內(nèi)存空閑區(qū)域3) 組織結(jié)構(gòu)

把所有的空閑頁(yè)分組為 11 個(gè)塊鏈表,每個(gè)塊鏈表分別包含大小為 1,2,4,8,16,32,64,128,256,512 和 1024 個(gè)連續(xù)頁(yè)框的頁(yè)塊。最大可以申請(qǐng) 1024 個(gè)連續(xù)頁(yè),對(duì)應(yīng) 4MB 大小的連續(xù)內(nèi)存


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

3、伙伴系統(tǒng)算法——申請(qǐng)和回收

1) 申請(qǐng)算法

申請(qǐng) 2^i 個(gè)頁(yè)塊存儲(chǔ)空間,如果 2^i 對(duì)應(yīng)的塊鏈表有空閑頁(yè)塊,則分配給應(yīng)用

如果沒(méi)有空閑頁(yè)塊,則查找 2^(i 1) 對(duì)應(yīng)的塊鏈表是否有空閑頁(yè)塊,如果有,則分配 2^i 塊鏈表節(jié)點(diǎn)給應(yīng)用,另外 2^i 塊鏈表節(jié)點(diǎn)插入到 2^i 對(duì)應(yīng)的塊鏈表中

如果 2^(i 1) 塊鏈表中沒(méi)有空閑頁(yè)塊,則重復(fù)步驟 2,直到找到有空閑頁(yè)塊的塊鏈表

如果仍然沒(méi)有,則返回內(nèi)存分配失敗

2) 回收算法

釋放 2^i 個(gè)頁(yè)塊存儲(chǔ)空間,查找 2^i 個(gè)頁(yè)塊對(duì)應(yīng)的塊鏈表,是否有與其物理地址是連續(xù)的頁(yè)塊,如果沒(méi)有,則無(wú)需合并

如果有,則合并成 2^(i 1)的頁(yè)塊,以此類推,繼續(xù)查找下一級(jí)塊鏈接,直到不能合并為止


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

3) 條件

兩個(gè)塊具有相同的大小

它們的物理地址是連續(xù)的

頁(yè)塊大小相同

4、如何分配 4M 以上內(nèi)存?

1) 為何限制大塊內(nèi)存分配

分配的內(nèi)存越大, 失敗的可能性越大

大塊內(nèi)存使用場(chǎng)景少

2) 內(nèi)核中獲取 4M 以上大內(nèi)存的方法

修改 MAX_ORDER, 重新編譯內(nèi)核

內(nèi)核啟動(dòng)選型傳遞"mem="參數(shù), 如"mem=80M,預(yù)留部分內(nèi)存;然后通過(guò)

request_mem_region 和 ioremap_nocache 將預(yù)留的內(nèi)存映射到模塊中。需要修改內(nèi)核啟動(dòng)參數(shù), 無(wú)需重新編譯內(nèi)核. 但這種方法不支持 x86 架構(gòu), 只支持 ARM, PowerPC 等非 x86 架構(gòu)

在 start_kernel 中 mem_init 函數(shù)之前調(diào)用 alloc_boot_mem 函數(shù)預(yù)分配大塊內(nèi)存, 需要重新編譯內(nèi)核

vmalloc 函數(shù),內(nèi)核代碼使用它來(lái)分配在虛擬內(nèi)存中連續(xù)但在物理內(nèi)存中不一定連續(xù)的內(nèi)存

5、伙伴系統(tǒng)——反碎片機(jī)制

1) 不可移動(dòng)頁(yè)

這些頁(yè)在內(nèi)存中有固定的位置,不能夠移動(dòng),也不可回收

內(nèi)核代碼段,數(shù)據(jù)段,內(nèi)核 kmalloc 出來(lái)的內(nèi)存,內(nèi)核線程占用的內(nèi)存等

2) 可回收頁(yè)

這些頁(yè)不能移動(dòng),但可以刪除。內(nèi)核在回收頁(yè)占據(jù)了太多的內(nèi)存時(shí)或者內(nèi)存短缺時(shí)進(jìn)行頁(yè)面回收3) 可移動(dòng)頁(yè)

這些頁(yè)可以任意移動(dòng),用戶空間應(yīng)用程序使用的頁(yè)都屬于該類別。它們是通過(guò)頁(yè)表映射的

當(dāng)它們移動(dòng)到新的位置,頁(yè)表項(xiàng)也會(huì)相應(yīng)的更新

6、slab 算法——基本原理

1) 基本概念

Linux 所使用的 slab 分配器的基礎(chǔ)是 Jeff Bonwick 為 SunOS 操作系統(tǒng)首次引入的一種算法

它的基本思想是將內(nèi)核中經(jīng)常使用的對(duì)象放到高速緩存中,并且由系統(tǒng)保持為初始的可利用狀態(tài)。比如進(jìn)程描述符,內(nèi)核中會(huì)頻繁對(duì)此數(shù)據(jù)進(jìn)行申請(qǐng)和釋放

2) 內(nèi)部碎片

已經(jīng)被分配出去的的內(nèi)存空間大于請(qǐng)求所需的內(nèi)存空間3) 基本目標(biāo)

減少伙伴算法在分配小塊連續(xù)內(nèi)存時(shí)所產(chǎn)生的內(nèi)部碎片

將頻繁使用的對(duì)象緩存起來(lái),減少分配、初始化和釋放對(duì)象的時(shí)間開(kāi)銷

通過(guò)著色技術(shù)調(diào)整對(duì)象以更好的使用硬件高速緩存

7、slab 分配器的結(jié)構(gòu)

由于對(duì)象是從 slab 中分配和釋放的,因此單個(gè) slab 可以在 slab 列表之間進(jìn)行移動(dòng)

slabs_empty 列表中的 slab 是進(jìn)行回收(reaping)的主要備選對(duì)象

slab 還支持通用對(duì)象的初始化,從而避免了為同一目而對(duì)一個(gè)對(duì)象重復(fù)進(jìn)行初始化


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

8、slab 高速緩存

1) 普通高速緩存

slab 分配器所提供的小塊連續(xù)內(nèi)存的分配是通過(guò)通用高速緩存實(shí)現(xiàn)的

通用高速緩存所提供的對(duì)象具有幾何分布的大小,范圍為 32 到 131072 字節(jié)。

內(nèi)核中提供了 kmalloc 和 kfree 兩個(gè)接口分別進(jìn)行內(nèi)存的申請(qǐng)和釋放

2) 專用高速緩存

內(nèi)核為專用高速緩存的申請(qǐng)和釋放提供了一套完整的接口,根據(jù)所傳入的參數(shù)為具體的對(duì)象分配 slab 緩存

kmem_cache_create 用于對(duì)一個(gè)指定的對(duì)象創(chuàng)建高速緩存。它從 cache_cache 普通高速緩存中為新的專有緩存分配一個(gè)高速緩存描述符,并把這個(gè)描述符插入到高速緩存描述符形成的 cache_chain 鏈表中

kmem_cache_alloc 在其參數(shù)所指定的高速緩存中分配一個(gè) slab。相反, kmem_cache_free 在其參數(shù)所指定的高速緩存中釋放一個(gè) slab

9、內(nèi)核態(tài)內(nèi)存池

1) 基本原理

先申請(qǐng)分配一定數(shù)量的、大小相等(一般情況下) 的內(nèi)存塊留作備用

當(dāng)有新的內(nèi)存需求時(shí),就從內(nèi)存池中分出一部分內(nèi)存塊,若內(nèi)存塊不夠再繼續(xù)申請(qǐng)新的內(nèi)存

這樣做的一個(gè)顯著優(yōu)點(diǎn)是盡量避免了內(nèi)存碎片,使得內(nèi)存分配效率得到提升

2) 內(nèi)核 API

mempool_create 創(chuàng)建內(nèi)存池對(duì)象

mempool_alloc 分配函數(shù)獲得該對(duì)象

mempool_free 釋放一個(gè)對(duì)象

mempool_destroy 銷毀內(nèi)存池


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

10、用戶態(tài)內(nèi)存池

1) C++ 實(shí)例


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

11、DMA 內(nèi)存

1) 什么是 DMA

直接內(nèi)存訪問(wèn)是一種硬件機(jī)制,它允許外圍設(shè)備和主內(nèi)存之間直接傳輸它們的 I/O 數(shù)據(jù),而不需要系統(tǒng)處理器的參與2) DMA 控制器的功能

能向 CPU 發(fā)出系統(tǒng)保持(HOLD)信號(hào),提出總線接管請(qǐng)求

當(dāng) CPU 發(fā)出允許接管信號(hào)后,負(fù)責(zé)對(duì)總線的控制,進(jìn)入 DMA 方式

能對(duì)存儲(chǔ)器尋址及能修改地址指針,實(shí)現(xiàn)對(duì)內(nèi)存的讀寫操作

能決定本次 DMA 傳送的字節(jié)數(shù),判斷 DMA 傳送是否結(jié)束

發(fā)出 DMA 結(jié)束信號(hào),使 CPU 恢復(fù)正常工作狀態(tài)

2) DMA 信號(hào)

DREQ:DMA 請(qǐng)求信號(hào)。是外設(shè)向 DMA 控制器提出要求,DMA 操作的申請(qǐng)信號(hào)

DACK:DMA 響應(yīng)信號(hào)。是 DMA 控制器向提出 DMA 請(qǐng)求的外設(shè)表示已收到請(qǐng)求和正進(jìn)行處理的信號(hào)

HRQ:DMA 控制器向 CPU 發(fā)出的信號(hào),要求接管總線的請(qǐng)求信號(hào)。

HLDA:CPU 向 DMA 控制器發(fā)出的信號(hào),允許接管總線的應(yīng)答信號(hào):


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

四、 內(nèi)存使用場(chǎng)景

out of memory 的時(shí)代過(guò)去了嗎?no,內(nèi)存再充足也不可任性使用。

1、內(nèi)存的使用場(chǎng)景

page 管理

slab(kmalloc、內(nèi)存池)

用戶態(tài)內(nèi)存使用(malloc、relloc 文件映射、共享內(nèi)存)

程序的內(nèi)存 map(棧、堆、code、data)

內(nèi)核和用戶態(tài)的數(shù)據(jù)傳遞(copy_from_user、copy_to_user)

內(nèi)存映射(硬件寄存器、保留內(nèi)存)

DMA 內(nèi)存

2、用戶態(tài)內(nèi)存分配函數(shù)

alloca 是向棧申請(qǐng)內(nèi)存,因此無(wú)需釋放

malloc 所分配的內(nèi)存空間未被初始化,使用 malloc 函數(shù)的程序開(kāi)始時(shí)(內(nèi)存空間還沒(méi)有被重新分配) 能正常運(yùn)行,但經(jīng)過(guò)一段時(shí)間后(內(nèi)存空間已被重新分配) 可能會(huì)出現(xiàn)問(wèn)題

calloc 會(huì)將所分配的內(nèi)存空間中的每一位都初始化為零

realloc 擴(kuò)展現(xiàn)有內(nèi)存空間大小

a) 如果當(dāng)前連續(xù)內(nèi)存塊足夠 realloc 的話,只是將 p 所指向的空間擴(kuò)大,并返回 p 的指針地址。這個(gè)時(shí)候 q 和 p 指向的地址是一樣的

b) 如果當(dāng)前連續(xù)內(nèi)存塊不夠長(zhǎng)度,再找一個(gè)足夠長(zhǎng)的地方,分配一塊新的內(nèi)存,q,并將 p 指向的內(nèi)容 copy 到 q,返回 q。并將 p 所指向的內(nèi)存空間刪除

3、內(nèi)核態(tài)內(nèi)存分配函數(shù)

函數(shù)分配原理最大內(nèi)存其他_get_free_pages直接對(duì)頁(yè)框進(jìn)行操作4MB適用于分配較大量的連續(xù)物理內(nèi)存kmem_cache_alloc基于 slab 機(jī)制實(shí)現(xiàn)128KB適合需要頻繁申請(qǐng)釋放相同大小內(nèi)存塊時(shí)使用kmalloc基于 kmem_cache_alloc 實(shí)現(xiàn)128KB最常見(jiàn)的分配方式,需要小于頁(yè)框大小的內(nèi)存時(shí)可以使用vmalloc建立非連續(xù)物理內(nèi)存到虛擬地址的映射物理不連續(xù),適合需要大內(nèi)存,但是對(duì)地址連續(xù)性沒(méi)有要求的場(chǎng)合dma_alloc_coherent基于_alloc_pages 實(shí)現(xiàn)4MB適用于 DMA 操作ioremap實(shí)現(xiàn)已知物理地址到虛擬地址的映射適用于物理地址已知的場(chǎng)合,如設(shè)備驅(qū)動(dòng)alloc_bootmem在啟動(dòng) kernel 時(shí),預(yù)留一段內(nèi)存,內(nèi)核看不見(jiàn)小于物理內(nèi)存大小,內(nèi)存管理要求較高

4、malloc 申請(qǐng)內(nèi)存

調(diào)用 malloc 函數(shù)時(shí),它沿 free_chuck_list 連接表尋找一個(gè)大到足以滿足用戶請(qǐng)求所需要的內(nèi)存塊


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

free_chuck_list 連接表的主要工作是維護(hù)一個(gè)空閑的堆空間緩沖區(qū)鏈表

如果空間緩沖區(qū)鏈表沒(méi)有找到對(duì)應(yīng)的節(jié)點(diǎn),需要通過(guò)系統(tǒng)調(diào)用 sys_brk 延伸進(jìn)程的??臻g


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

5、缺頁(yè)異常

通過(guò) get_free_pages 申請(qǐng)一個(gè)或多個(gè)物理頁(yè)面

換算 addr 在進(jìn)程 pdg 映射中所在的 pte 地址

將 addr 對(duì)應(yīng)的 pte 設(shè)置為物理頁(yè)面的首地址

系統(tǒng)調(diào)用:Brk—申請(qǐng)內(nèi)存小于等于 128kb,do_map—申請(qǐng)內(nèi)存大于 128kb


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

6、用戶進(jìn)程訪問(wèn)內(nèi)存分析

用戶態(tài)進(jìn)程獨(dú)占虛擬地址空間,兩個(gè)進(jìn)程的虛擬地址可相同

在訪問(wèn)用戶態(tài)虛擬地址空間時(shí),如果沒(méi)有映射物理地址,通過(guò)系統(tǒng)調(diào)用發(fā)出缺頁(yè)異常

缺頁(yè)異常陷入內(nèi)核,分配物理地址空間,與用戶態(tài)虛擬地址建立映射


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

7、共享內(nèi)存

1) 原理

它允許多個(gè)不相關(guān)的進(jìn)程去訪問(wèn)同一部分邏輯內(nèi)存

兩個(gè)運(yùn)行中的進(jìn)程之間傳輸數(shù)據(jù),共享內(nèi)存將是一種效率極高的解決方案

兩個(gè)運(yùn)行中的進(jìn)程共享數(shù)據(jù),是進(jìn)程間通信的高效方法,可有效減少數(shù)據(jù)拷貝的次數(shù)


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

2) shm 接口

shmget 創(chuàng)建共享內(nèi)存

shmat 啟動(dòng)對(duì)該共享內(nèi)存的訪問(wèn),并把共享內(nèi)存連接到當(dāng)前進(jìn)程的地址空間

shmdt 將共享內(nèi)存從當(dāng)前進(jìn)程中分離

五、 內(nèi)存使用那些坑

1、C 內(nèi)存泄露

在類的構(gòu)造函數(shù)和析構(gòu)函數(shù)中沒(méi)有匹配地調(diào)用 new 和 delete 函數(shù)

沒(méi)有正確地清除嵌套的對(duì)象指針

沒(méi)有將基類的析構(gòu)函數(shù)定義為虛函數(shù)

當(dāng)基類的指針指向子類對(duì)象時(shí),如果基類的析構(gòu)函數(shù)不是 virtual,那么子類的析構(gòu)函數(shù)將不會(huì)被調(diào)用,子類的資源沒(méi)有得到正確釋放,因此造成內(nèi)存泄露

缺少拷貝構(gòu)造函數(shù),按值傳遞會(huì)調(diào)用(拷貝)構(gòu)造函數(shù),引用傳遞不會(huì)調(diào)用

指向?qū)ο蟮闹羔様?shù)組不等同于對(duì)象數(shù)組,數(shù)組中存放的是指向?qū)ο蟮闹羔?,不僅要釋放每個(gè)對(duì)象的空間,還要釋放每個(gè)指針的空間

缺少重載賦值運(yùn)算符,也是逐個(gè)成員拷貝的方式復(fù)制對(duì)象,如果這個(gè)類的大小是可變的,那么結(jié)果就是造成內(nèi)存泄露

2、C 野指針

指針變量沒(méi)有初始化

指針被 free 或 delete 后,沒(méi)有設(shè)置為 NULL

指針操作超越了變量的作用范圍,比如返回指向棧內(nèi)存的指針就是野指針

訪問(wèn)空指針(需要做空判斷)

sizeof 無(wú)法獲取數(shù)組的大小

試圖修改常量,如:char p="1234";p='1';

3、C 資源訪問(wèn)沖突

多線程共享變量沒(méi)有用 valotile 修飾

多線程訪問(wèn)全局變量未加鎖

全局變量?jī)H對(duì)單進(jìn)程有效

多進(jìn)程寫共享內(nèi)存數(shù)據(jù),未做同步處理

mmap 內(nèi)存映射,多進(jìn)程不安全

4、STL 迭代器失效

被刪除的迭代器失效

添加元素(insert/push_back 等)、刪除元素導(dǎo)致順序容器迭代器失效

錯(cuò)誤示例:刪除當(dāng)前迭代器,迭代器會(huì)失效


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

正確示例:迭代器 erase 時(shí),需保存下一個(gè)迭代器


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

5、C++ 11 智能指針

auto_ptr 替換為 unique_ptr

使用 make_shared 初始化一個(gè) shared_ptr

weak_ptr 智能指針助手(1)原理分析: (2)數(shù)據(jù)結(jié)構(gòu): (3)使用方法:a. lock 獲取所管理的對(duì)象的強(qiáng)引用指針 b. expired 檢測(cè)所管理的對(duì)象是否已經(jīng)釋放 c. get 訪問(wèn)智能指針對(duì)象

6、C++ 11 更小更快更安全

std::atomic 原子數(shù)據(jù)類型 多線程安全

std::array 定長(zhǎng)數(shù)組開(kāi)銷比 array 小和 std::vector 不同的是 array 的長(zhǎng)度是固定的,不能動(dòng)態(tài)拓展

std::vector vector 瘦身 shrink_to_fit:將 capacity 減少為于 size 相同的大小

td::forward_list

forward_list 是單鏈表(std::list 是雙鏈表),只需要順序遍歷的場(chǎng)合,forward_list 能更加節(jié)省內(nèi)存,插入和刪除的性能高于 list

std::unordered_map、std::unordered_set用 hash 實(shí)現(xiàn)的無(wú)序的容器,插入、刪除和查找的時(shí)間復(fù)雜度都是 O(1),在不關(guān)注容器內(nèi)元素順序的場(chǎng)合,使用 unordered 的容器能獲得更高的性能六、 如何查看內(nèi)存

系統(tǒng)中內(nèi)存使用情況:/proc/meminfo


干貨! Linux 內(nèi)存相關(guān)問(wèn)題匯總

進(jìn)程的內(nèi)存使用情況:/proc/28040/status

查詢內(nèi)存總使用率:free

查詢進(jìn)程 cpu 和內(nèi)存使用占比:top

虛擬內(nèi)存統(tǒng)計(jì):vmstat

進(jìn)程消耗內(nèi)存占比和排序:ps aux –sort -rss

釋放系統(tǒng)內(nèi)存緩存:/proc/sys/vm/drop_caches

To free pagecache, use echo 1 > /proc/sys/vm/drop_caches

To free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches

To free pagecache, dentries and inodes, use echo 3 >/proc/sys/vm/drop_caches

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開(kāi)發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來(lái)越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來(lái)越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開(kāi)幕式在貴陽(yáng)舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語(yǔ)權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉