美國軍方禁止在嵌入式C程序使用malloc(),99%的人都不知道的原因
想在C語言程序員之間開始一個激烈的,或者說有爭議的討論很簡單,只需要問:“使用動態(tài)內(nèi)存分配安全嗎?”
為了更加安全穩(wěn)定,美國軍方禁止在C語言程序中使用malloc()
使用動態(tài)內(nèi)存分配安全嗎?
在C語言程序開發(fā)中,動態(tài)內(nèi)存分配允許程序在運行時向系統(tǒng)申請內(nèi)存使用,只不過在使用完畢后,需要顯式的釋放之,這就要求程序員對動態(tài)分配的內(nèi)存了然于胸。
在非常重視安全(safety-critical)的嵌入式C語言程序開發(fā)中,動態(tài)內(nèi)存分配廣泛被認為是禁忌。使用C語言的malloc()和free()庫函數(shù)可能會帶來災難性的副作用,例如內(nèi)存泄漏或者碎片。此外,malloc()常常會表現(xiàn)出極其不可預測的特性,這使其成為在多核系統(tǒng)上進行多線程C語言程序開發(fā)的瓶頸。
事實上,由于malloc()存在安全風險,美國軍方按照DO-178B標準,在safety-critical的嵌入式航空電子設(shè)備代碼中禁止動態(tài)內(nèi)存分配。
為了更加安全穩(wěn)定,美國軍方禁止在C語言程序中使用malloc()
禁止動態(tài)內(nèi)存分配
嵌入式行業(yè)的C語言程序員似乎對這個話題有著發(fā)自內(nèi)心的反應。在最近的一次互聯(lián)網(wǎng)技術(shù)小組討論中,當提到問題:“在嵌入式C語言程序設(shè)計種是否使用動態(tài)內(nèi)存分配?”時,77條回復稱“使用動態(tài)內(nèi)存分配是對系統(tǒng)容錯性的最大危害之一”,還有5條回復稱“如果希望系統(tǒng)正常運行時間能夠達到‘5個9’(即99.999%),答案就是‘永遠不會’使用動態(tài)內(nèi)存分配”。
甚至有相關(guān)部門在招聘嵌入式C語言程序員時,會問求職者是否會使用動態(tài)內(nèi)存分配,如果他們使用,就不會被雇用了。
為了通過相關(guān)的工作面試,也為了提升C語言代碼安全,更好的辦法是自定義一套內(nèi)存分配器,一般分為兩種:基于棧的分配器,以及基于本地線程的分配器。寫出更安全穩(wěn)定的C語言代碼,就不該再使用標準庫提供的malloc()和free()函數(shù)了。
為什么美國軍方認為C語言標準庫函數(shù)提供的動態(tài)內(nèi)存分配管理函數(shù)malloc()和free()是個糟糕的選擇呢?這其實要從malloc()和free()的設(shè)計上考慮,通常,它們是基于列表分配器算法的,該算法將內(nèi)存池組織到單個鏈表中的連續(xù)位置,分配器管理該鏈表,每次分配實際上就是尋找空閑位置。這種分配器在各種情況下都能相當好的分配和釋放內(nèi)存,但是在極端的safety-critical系統(tǒng)中。
為了更加安全穩(wěn)定,美國軍方禁止在C語言程序中使用malloc()
基于棧的內(nèi)存管理器
在C語言程序開發(fā)中,某些應用程序可能只需要申請一些短期對象,很快就會使用完并釋放。基于棧(此“?!辈煌诤瘮?shù)的調(diào)用棧)的內(nèi)存分配器此時就能大派用場了,該分配器每次分配都返回棧指針當前位置的地址,并按照需求推進指針,如下圖:
為了更加安全穩(wěn)定,美國軍方禁止在C語言程序中使用malloc()
當該內(nèi)存被使用完畢,需要被釋放時,只需要將棧指針往后返回即可。這樣一來,處理內(nèi)存分配的開銷就減少了,因為沒有需要管理的指針鏈表了,也沒有需要跟蹤的分配內(nèi)存大小,以及空閑內(nèi)存位置。另外,由于C語言程序不再跟蹤特定的分配內(nèi)存,所以這種內(nèi)存分配器也更加安全:不匹配的內(nèi)存釋放不會導致內(nèi)存泄漏。
對于C語言標準庫提供的內(nèi)存分配器來說,當內(nèi)存以隨機順序釋放時,列表分配器通常需要向它的鏈中添加指針和內(nèi)存長度(這稱為碎片)。當程序繼續(xù)運行時,列表分配器的開銷會增加,因為需要管理的元數(shù)據(jù)數(shù)量增加了,尋找合適的空閑內(nèi)存位置也會更加耗時。而基于堆棧的內(nèi)存分配器分配的所有內(nèi)存塊都將返回到堆中,碎片化就被避免了。
當在多核處理器平臺進行多線程編程時,默認由互斥體做同步控制的malloc()和free()函數(shù)就比較難用了。因為他們可能會導致鎖沖突,操作系統(tǒng)要解決這些沖突,只能通過損耗性能的上下文切換。
為了更加安全穩(wěn)定,美國軍方禁止在C語言程序中使用malloc()
多核處理器多線程編程的挑戰(zhàn)
針對此情況,C語言程序員可以自定義本地線程內(nèi)存分配器,通過為每個線程分配特定的內(nèi)存池來避免沖突。每個線程的內(nèi)存分配是在不干擾其他線程的情況下進行的,從而提高了系統(tǒng)性能和程序的可預測性。
當本地線程分配器耗盡內(nèi)存時,如果系統(tǒng)安全和允許,其他分配器可以再為它分配一個新的內(nèi)存塊。本地線程內(nèi)存分配器可使用一個列表管理屬于自己線程的內(nèi)存,因此由同一個線程分配和釋放的內(nèi)存不需要協(xié)調(diào),不會發(fā)生鎖沖突導致的性能損耗。
簡而言之,不使用malloc()和free()管理內(nèi)存,使用更具預測性,更安全的自定義內(nèi)存分配器,可以避免safety-critical代碼出現(xiàn)內(nèi)存安全問題。
通過第三方應用程序分配內(nèi)存
使用自定義內(nèi)存分配器還有一個好處,就是可以通過集成它們的第三方應用程序使用。IMDS(In-Memory Database System,內(nèi)存數(shù)據(jù)庫系統(tǒng))就是一個例子,它們是專門設(shè)計用來管理RAM中應用程序?qū)ο蟮?。下圖是使用malloc()和free()的一個例子:
為了更加安全穩(wěn)定,美國軍方禁止在C語言程序中使用malloc()
下圖則是使用mcobject的extremedb的相同過程,這是一個整合了自定義分配器的IMD,包括基于堆棧和本地線程的內(nèi)存分配器。在上圖的開頭,C語言程序定義一個結(jié)構(gòu),聲明一個指向該結(jié)構(gòu)實例的指針,并通過malloc()為其分配內(nèi)存。
使用mcobject的extremedb
如果使用malloc()/free()的C語言程序是多線程的,并且線程將共享傳感器對象,那么程序員必須實現(xiàn)并發(fā)控制。再來看看IMD,程序開始獲取了句柄,調(diào)用sensor_new()將聲明一些專用于IMD的內(nèi)存池,用于新的sensor對象。
在軍事/航空航天應用中,傳感器對象可以表示任何東西,可以是跟蹤導彈目標的光學傳感器,也可以是用于化學戰(zhàn)防御的生物傳感器,還可以是用于幫助飛機導航的運動傳感器等。
sensor_new()返回數(shù)據(jù)庫對象的句柄,通過該句柄可以寫入和/或讀取對象的值。相反,C語言程序直接處理結(jié)構(gòu)的字段,從而在多線程應用程序中創(chuàng)建并發(fā)訪問控制的需求。
當C語言程序使用完sensor結(jié)構(gòu)后,free()將內(nèi)存返回到堆。當帶有IMDS的代碼完成時,數(shù)據(jù)庫中的空間被放棄,事務(wù)結(jié)束,用于傳感器對象的內(nèi)存返回到專用內(nèi)存池。
為了更加安全穩(wěn)定,美國軍方禁止在C語言程序中使用malloc()
應用程序可以處理IMD內(nèi)存不足的錯誤
IMD的內(nèi)存可能不足,但這將生成一條“數(shù)據(jù)庫已滿”的錯誤消息,應用程序可以處理該錯誤消息。相反,由malloc()和free()引起的內(nèi)存碎片和泄漏會破壞整個系統(tǒng)的穩(wěn)定性,程序無法處理這種錯誤,操作系統(tǒng)只能對其做崩潰處理。
另外,IMDS還提供了一種“幕后”工作機制,以更高的效率和靈活性來分配和釋放內(nèi)存,避免使用多個底層分配器類型,從而避免了malloc()/free()固有的風險。
事實上,進入安全關(guān)鍵領(lǐng)域的C語言軟件工程師需要知道,需求和風險高于消費者或業(yè)務(wù)應用程序開發(fā)。編寫避免動態(tài)內(nèi)存分配的代碼,而使用一個或多個自定義內(nèi)存管理器雖然不太方便,但它增加了C語言程序的安全性和穩(wěn)定性,這是安全關(guān)鍵系統(tǒng)工程師應該接受的一個折衷方案。
文章作者:嵌入式時代