0.2秒居然復制了100G文件？
時間：2021-10-25 14:41:41
手機看文章
掃描二維碼
隨時隨地手機看文章
[導讀]cp引發(fā)的思考今天同事用?cp?命令，把他給驚到了！背景是這樣的：他用?cp??拷貝了一個100G的文件，竟然一秒不到就拷貝完成了！用?ls??看一把文件，顯示文件確實是100G。sh-4.4#?ls?-lh-rw-r--r--?1?root?root?100G?Mar??6?1...
cp 引發(fā)的思考今天同事用?cp?命令，把他給驚到了！背景是這樣的：他用?
cp??拷貝了一個 100 G的文件，竟然一秒不到就拷貝完成了！用?ls??看一把文件，顯示文件確實是 100 G。sh-4.4#?ls?-lh-rw-r--r--?1?root?root?100G?Mar??6?12:22?test.txt但是copy起來為什么會這么快呢？sh-4.4#?time?cp?./test.txt?./test.txt.cp
real?0m0.107s
user?0m0.008s
sys?0m0.085s
一個 SATA 機械盤的寫能力能到 150 M/s （大部分的機械盤都是到不了這個值的）就算非常不錯了，正常情況下，copy 一個 100G 的文件至少要 682 秒 ( 100 G/ 150 M/s )，也就是 11 分鐘。實際情況卻是?
cp?一秒沒到就完成了工作，驚呆了，為啥呢？更詭異的是：他的文件系統(tǒng)只有 40 G，為啥里面會有一個 100 G的文件呢？同事把我找來，看看這個詭異的問題。分析文件
我讓他先用?du?命令看一下，卻只有 2M ，根本不是100G，這是怎么回事？sh-4.4#?du?-sh?./test.txt2.0M?./test.txt
再看?
stat?命令顯示的信息：sh-4.4#?stat?./test.txt??File:?./test.txt
??Size:?107374182400?Blocks:?4096???????IO?Block:?4096???regular?file
Device:?78h/120d?Inode:?3148347?????Links:?1
Access:?(0644/-rw-r--r--)??Uid:?(????0/????root)???Gid:?(????0/????root)
Access:?2021-03-13?12:22:00.888871000? 0000
Modify:?2021-03-13?12:22:46.562243000? 0000
Change:?2021-03-13?12:22:46.562243000? 0000
?Birth:?-
stat?命令輸出解釋：- Size 為 107374182400（知識點：單位是字節(jié)），也就是 100G ；
- Blocks 這個指標顯示為 4096（知識點：一個 Block 的單位固定是 512 字節(jié)，也就是一個扇區(qū)的大?。?，這里表示為 2M；
- Size 表示的是文件大小，這個也是大多數(shù)人看到的大?。?/span>
- Blocks 表示的是物理實際占用空間；
文件系統(tǒng)文件系統(tǒng)聽起來很高大上，通俗話就用來存數(shù)據(jù)的一個容器而已，本質(zhì)和你的行李箱、倉庫沒有啥區(qū)別，只不過文件系統(tǒng)存儲的是數(shù)字產(chǎn)品而已。我有一個視頻文件，我把這個視頻放到這個文件系統(tǒng)里，下次來拿，要能拿到我完整的視頻文件數(shù)據(jù)，這就是文件系統(tǒng)，對外提供的就是存取服務。現(xiàn)實的存取場景
例如你到火車站使用寄存服務：存行李的時候，是不是要登記一些個人信息？對吧，至少自己名字要寫上?？赡苓€會給你一個牌子，讓你掛手上，這個東西就是為了標示每一個唯一的行李。文件系統(tǒng)
回到我們的文件系統(tǒng)，對比上面的行李存取行為，可以做個簡單的類比；- 登記名字就是在文件系統(tǒng)記錄文件名；
- 生成的牌子就是元數(shù)據(jù)索引；
- 你的行李就是文件；
- 寄存室就是磁盤（容納東西的物理空間）；
- 管理員整套運行機制就是文件系統(tǒng)；
空間管理
現(xiàn)在思考文件系統(tǒng)是怎么管理空間的？如果，一個連續(xù)的大磁盤空間給你使用，你會怎么使用這段空間呢？直觀的一個想法，我把進來的數(shù)據(jù)就完整的放進去。
- 先寫數(shù)據(jù)：數(shù)據(jù)先按照 Block 粒度存儲到磁盤的各個位置；
- 再寫元數(shù)據(jù)：然后把 Block 所在的各個位置保存起來，即inode（我用一本書來表示）；
- 先讀inode，找到各個 Block 的位置；
- 然后讀數(shù)據(jù)，構(gòu)造一個完整的文件，給到用戶；
inode/block 概念
好，我們現(xiàn)在來看看inode，直觀地感受一下：這個inode有文件元數(shù)據(jù)和Block數(shù)組（長度是15），數(shù)組中前兩項指向Block 3和Block 11，表示數(shù)據(jù)在這兩個塊中存著。?你肯定會意識到：Block數(shù)組只有15個元素，每個Block是4K， 難道一個文件最大只能是 15 * 4K =? 60 K ? ?這是絕對不行的！?最簡單的辦法就是：把這個Block數(shù)組長度給擴大！比如我們想讓文件系統(tǒng)最大支持100G的文件，Block數(shù)組需要這么長：(100*1024*1024)/4 =?26214400Block數(shù)組中每一項是4個字節(jié)，那就需要(26214400*4)/1024/1024 =?100M?為了支持100G的文件，我們的Block數(shù)組本身就得100M ！?并且對每個文件都是如此 ！即使這個文件只有1K！?這將是巨大浪費！肯定不能這么干，解決方案就是間接索引，按照約定，把這?15 個槽位分作 4 個不同類別來用：- 前 12 個槽位（也就是 0 - 11 ）我們成為直接索引；
- 第 13 個位置，我們稱為?1 級索引；
- 第 14 個位置，我們稱為?2 級索引；
- 第 15 個位置，我們稱為?3 級索引；
二級索引：二級索引是在一級索引的基礎(chǔ)上多了一級而已，換算下來，有了 4M 的空間用來存儲用戶數(shù)據(jù)的編號。所以二級索引能尋址?4G (4M/4 * 4K)?的空間。三級索引：三級索引是在二級索引的基礎(chǔ)上又多了一級，也就是說，有了 4G 的空間來存儲用戶數(shù)據(jù)的 block 編號。所以二級索引能尋址 4T （4G/4 * 4K） 的空間。所以，在這種文件系統(tǒng)（如ext2）上，通過這種間接塊索引的方式，最大能支撐的文件大小 = 48K 4M 4G 4T ，約等于 4 T。這種多級索引尋址性能表現(xiàn)怎么樣？在不超過 12 個數(shù)據(jù)塊的小文件的尋址是最快的，訪問文件中的任意數(shù)據(jù)理論只需要兩次讀盤，一次讀 inode，一次讀數(shù)據(jù)塊。訪問大文件中的數(shù)據(jù)則需要最多五次讀盤操作：inode、一級間接尋址塊、二級間接尋址塊、三級間接尋址塊、數(shù)據(jù)塊。為什么cp那么快？
接下來我們要寫入一個奇怪的文件，這個文件很大，但是真正的數(shù)據(jù)只有8K：在[0,4K]這位置有4K的數(shù)據(jù)在[1T , 1T 4K] 處也有4K數(shù)據(jù)中間沒有數(shù)據(jù)，這樣的文件該如何寫入硬盤？- 創(chuàng)建一個文件，這個時候分配一個 inode；
- 在 [ 0，4K ] 的位置寫入 4K 數(shù)據(jù)，這個時候只需要 一個 block，把這個編號寫到?
block[0]?這個位置保存起來； - 在 [ 1T，1T 4K ] 的位置寫入 4K 數(shù)據(jù)，這個時候需要分配一個 block，因為這個位置已經(jīng)落到三級索引才能表現(xiàn)的空間了，所以需要還需要分配出 3 個索引塊；
- 寫入完成，close 文件；
重點：文件 size 只是 inode 里面的一個屬性，實際物理空間占用則是要看用戶數(shù)據(jù)放了多少個 block ，沒寫數(shù)據(jù)的地方不用分配物理block塊。這樣的文件其實就是稀疏文件， 它的邏輯大小和實際物理空間是不相等的。?所以當我們用cp命令去復制一個這樣的文件時，那肯定迅速就完成了。
總結(jié)
好，我們再深入思考下，文件系統(tǒng)為什么能做到這一點？- 首先，最關(guān)鍵的是把磁盤空間切成離散的、定長的 block 來管理；
- 然后，通過 inode 能查找到所有離散的數(shù)據(jù)（保存了所有的索引）；
- 最后，實現(xiàn)索引塊和數(shù)據(jù)塊空間的后分配；
下載文檔
