當前位置:首頁 > 公眾號精選 > 程序員小灰
[導讀]什么是內存管理器(what) Python作為一個高層次的結合了解釋性、編譯性、互動性和面向對象的腳本語言,與大多數編程語言不同,Python中的變量無需事先申明,變量無需指定類型,程序員無需關心內存管理,Python解釋器給你自動回收。開發(fā)人員不用過多的關心內

什么是內存管理器(what)

Python作為一個高層次的結合了解釋性、編譯性、互動性和面向對象的腳本語言,與大多數編程語言不同,Python中的變量無需事先申明,變量無需指定類型,程序員無需關心內存管理,Python解釋器給你自動回收。開發(fā)人員不用過多的關心內存管理機制,這一切全部由python內存管理器承擔了復雜的內存管理工作。

內存不外乎創(chuàng)建和銷毀兩部分,本文將圍繞python的內存池和垃圾回收兩部分進行分析。

Python內存池

為什么要引入內存池(why)

當創(chuàng)建大量消耗小內存的對象時,頻繁調用new/malloc會導致大量的內存碎片,致使效率降低。內存池的作用就是預先在內存中申請一定數量的,大小相等的內存塊留作備用,當有新的內存需求時,就先從內存池中分配內存給這個需求,不夠之后再申請新的內存。這樣做最顯著的優(yōu)勢就是能夠減少內存碎片,提升效率。

python中的內存管理機制為Pymalloc

內存池是如何工作的(how)

首先,我們看一張CPython(python解釋器)的內存架構圖:

  • python的對象管理主要位于Level+1~Level+3層

  • Level+3層:對于python內置的對象(比如int,dict等)都有獨立的私有內存池,對象之間的內存池不共享,即int釋放的內存,不會被分配給float使用

  • Level+2層:當申請的內存大小小于256KB時,內存分配主要由 Python 對象分配器(Python’s object allocator)實施

  • Level+1層:當申請的內存大小大于256KB時,由Python原生的內存分配器進行分配,本質上是調用C標準庫中的malloc/realloc等函數

關于釋放內存方面,當一個對象的引用計數變?yōu)?時,Python就會調用它的析構函數。調用析構函數并不意味著最終一定會調用free來釋放內存空間,如果真是這樣的話,那頻繁地申請、釋放內存空間會使Python的執(zhí)行效率大打折扣。因此在析構時也采用了內存池機制,從內存池申請到的內存會被歸還到內存池中,以避免頻繁地申請和釋放動作。

垃圾回收機制

Python的垃圾回收機制采用引用計數機制為主,標記-清除和分代回收機制為輔的策略。其中,標記-清除機制用來解決計數引用帶來的循環(huán)引用而無法釋放內存的問題,分代回收機制是為提升垃圾回收的效率。

引用計數

Python通過引用計數來保存內存中的變量追蹤,即記錄該對象被其他使用的對象引用的次數。

Python中有個內部跟蹤變量叫做引用計數器,每個變量有多少個引用,簡稱引用計數。當某個對象的引用計數為0時,就列入了垃圾回收隊列。

   
  1. >>> a=[1,2]

  2. >>> import sys

  3. >>> sys.getrefcount(a) ## 獲取對象a的引用次數

  4. 2

  5. >>> b=a

  6. >>> sys.getrefcount(a)

  7. 3

  8. >>> del b ## 刪除b的引用

  9. >>> sys.getrefcount(a)

  10. 2

  11. >>> c=list()

  12. >>> c.append(a) ## 加入到容器中

  13. >>> sys.getrefcount(a)

  14. 3

  15. >>> del c ## 刪除容器,引用-1

  16. >>> sys.getrefcount(a)

  17. 2

  18. >>> b=a

  19. >>> sys.getrefcount(a)

  20. 3

  21. >>> a=[3,4] ## 重新賦值

  22. >>> sys.getrefcount(a)

  23. 2

注意:當把a作為參數傳遞給getrefcount時,會產生一個臨時的引用,因此得出來的結果比真實情況+1

  • 引用計數增加的情況:

  1. 一個對象被分配給一個新的名字(例如:a=[1,2])

  2. 將其放入一個容器中(如列表、元組或字典)(例如:c.append(a))

  • 引用計數減少的情況:

  1. 使用del語句對對象別名顯式的銷毀(例如:del b)

  2. 對象所在的容器被銷毀或從容器中刪除對象(例如:del c )

  3. 引用超出作用域或被重新賦值(例如:a=[3,4])

引用計數能夠解決大多數垃圾回收的問題,但是遇到兩個對象相互引用的情況,del語句可以減少引用次數,但是引用計數不會歸0,對象也就不會被銷毀,從而造成了內存泄漏問題。針對該情況,Python引入了標記-清除機制。

標記-清除

標記-清除用來解決引用計數機制產生的循環(huán)引用,進而導致內存泄漏的問題 。循環(huán)引用只有在容器對象才會產生,比如字典,元組,列表等。

顧名思義,該機制在進行垃圾回收時分成了兩步,分別是:

  • 標記階段,遍歷所有的對象,如果是可達的(reachable),也就是還有對象引用它,那么就標記該對象為可達

  • 清除階段,再次遍歷對象,如果發(fā)現某個對象沒有標記為可達(即為Unreachable),則就將其回收

   
  1. >>> a=[1,2]

  2. >>> b=[3,4]

  3. >>> sys.getrefcount(a)

  4. 2

  5. >>> sys.getrefcount(b)

  6. 2

  7. >>> a.append(b)

  8. >>> sys.getrefcount(b)

  9. 3

  10. >>> b.append(a)

  11. >>> sys.getrefcount(a)

  12. 3

  13. >>> del a

  14. >>> del b

  • a引用b,b引用a,此時兩個對象各自被引用了2次(去除getrefcout()的臨時引用)

  • 執(zhí)行del之后,對象a,b的引用次數都-1,此時各自的引用計數器都為1,陷入循環(huán)引用

  • 標記:找到其中的一端a,因為它有一個對b的引用,則將b的引用計數-1

  • 標記:再沿著引用到b,b有一個a的引用,將a的引用計數-1,此時對象a和b的引用次數全部為0,被標記為不可達(Unreachable)

  • 清除: 被標記為不可達的對象就是真正需要被釋放的對象

上面描述的垃圾回收的階段,會暫停整個應用程序,等待標記清除結束后才會恢復應用程序的運行。為了減少應用程序暫停的時間,Python 通過“分代回收”(Generational Collection)以空間換時間的方法提高垃圾回收效率。

分代回收

分代回收是基于這樣的一個統(tǒng)計事實,對于程序,存在一定比例的內存塊的生存周期比較短;而剩下的內存塊,生存周期會比較長,甚至會從程序開始一直持續(xù)到程序結束。生存期較短對象的比例通常在 80%~90%之間。因此,簡單地認為:對象存在時間越長,越可能不是垃圾,應該越少去收集。這樣在執(zhí)行標記-清除算法時可以有效減小遍歷的對象數,從而提高垃圾回收的速度,是一種以空間換時間的方法策略

Python將所有的對象分為年輕代(第0代)、中年代(第1代)、老年代(第2代)三代。所有的新建對象默認是 第0代對象。當在第0代的gc掃描中存活下來的對象將被移至第1代,在第1代的gc掃描中存活下來的對象將被移至第2代。

gc掃描次數(第0代>第1代>第2代)

當某一代中被分配的對象與被釋放的對象之差達到某一閾值時,就會觸發(fā)當前一代的gc掃描。當某一代被掃描時,比它年輕的一代也會被掃描,因此,第2代的gc掃描發(fā)生時,第0,1代的gc掃描也會發(fā)生,即為全代掃描。

   
  1. >>> import gc

  2. >>> gc.get_threshold() ## 分代回收機制的參數閾值設置

  3. (700, 10, 10)

  • 700=新分配的對象數量-釋放的對象數量,第0代gc掃描被觸發(fā)

  • 第一個10:第0代gc掃描發(fā)生10次,則第1代的gc掃描被觸發(fā)

  • 第二個10:第1代的gc掃描發(fā)生10次,則第2代的gc掃描被觸發(fā)

思考

在標記-清除中,如果對象c也引用a,執(zhí)行del操作后,會發(fā)生什么?

對象a,b,c的引用關系如下圖所示:

   
  1. >>> a=[1,2]

  2. >>> b=[3,4]

  3. >>> c=a

  4. >>> a.append(b)

  5. >>> b.append(a)

  • ref_count表示引用計數

  • 對象a,b,c全部為reachable

執(zhí)行del之后,引用關系如下圖所示:

   
  1. >>> del a

  2. >>> del b

  • a,b,c的ref_count減1

執(zhí)行gc掃描

  • 標記: a引用b,將b的refcount減1到0,b引用a,將a的refcount減1到1,將b放在unreachable下 

  • 再循環(huán):因為a是可達的,所以會遞歸地將從a節(jié)點出發(fā)可以達到的所有節(jié)點標記為reachable下,即為: 

  • 清除:unreachable下沒有可清除的對象,因此a,b,c對象不會被清除

總結

總體而言,python通過內存池來減少內存碎片化,提高執(zhí)行效率。主要通過引用計數來完成垃圾回收,通過標記-清除解決容器對象循環(huán)引用造成的問題,通過分代回收提高垃圾回收的效率。


—————END—————



喜歡本文的朋友,歡迎關注公眾號 程序員小灰,收看更多精彩內容

      
點個[在看],是對小灰最大的支持!


免責聲明:本文內容由21ic獲得授權后發(fā)布,版權歸原作者所有,本平臺僅提供信息存儲服務。文章僅代表作者個人觀點,不代表本平臺立場,如有問題,請聯系我們,謝謝!

本站聲明: 本文章由作者或相關機構授權發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內容真實性等。需要轉載請聯系該專欄作者,如若文章內容侵犯您的權益,請及時聯系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或將催生出更大的獨角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數字化轉型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據媒體報道,騰訊和網易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數據產業(yè)博覽會開幕式在貴陽舉行,華為董事、質量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數據產業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經營業(yè)績穩(wěn)中有升 落實提質增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數字經濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯合牽頭組建的NVI技術創(chuàng)新聯盟在BIRTV2024超高清全產業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現場 NVI技術創(chuàng)新聯...

關鍵字: VI 傳輸協議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉
關閉