網(wǎng)絡(luò)DevOps探索與實踐

老的開發(fā)模式這樣會出現(xiàn)多個問題：

• 最常見的一個場景：開發(fā)這邊的排期已經(jīng)到2個月之后，運(yùn)營這邊覺得太晚了。但前面確實有那么多開發(fā)需求待實現(xiàn)。開發(fā)搞不過來了。
  
• 某些新的監(jiān)控項目，運(yùn)營通過具體的數(shù)據(jù)才能知道該功能的業(yè)務(wù)價值；開發(fā)的同學(xué)把功能上線后，就忙著下一個需求了，對后續(xù)的運(yùn)營關(guān)注不多。經(jīng)常會導(dǎo)致歷史上積累了非常多的工具系統(tǒng)，但作用都很寥寥。
  
• 基礎(chǔ)架構(gòu)的運(yùn)營系統(tǒng)，原來只針對自研業(yè)務(wù)做了大量的功能；后來到公有云，現(xiàn)在也有大量的私有云客戶，服務(wù)的對象發(fā)生了變化。外部的客戶對功能需要做二次開發(fā)，需要具備DevOps能力。
  

為了解決以上這些問題，需要系統(tǒng)化的來進(jìn)行解決。根本上來說，就是要以人為本，提升運(yùn)營與開發(fā)的滿意度，DevOps是一個切實可行的方案。

DevOps沒有發(fā)明任何新技術(shù)，他只是一種軟件開發(fā)的模式。這里有個DevOps的分級模型，是國內(nèi)業(yè)界的前輩制定了一個規(guī)范，最近也已經(jīng)通過了ITU-T組織的審核。這里內(nèi)容比較多，不逐一贅述?；A(chǔ)架構(gòu)DevOps的實踐過程，是借鑒其理念，讓大家都在同一個簡單易用的軟件平臺上進(jìn)行合作開發(fā)，達(dá)到服務(wù)快速上線目的。其中最主要的一個關(guān)鍵點(diǎn)就是雙方要進(jìn)行融合，互相促進(jìn)。
騰訊網(wǎng)絡(luò)運(yùn)營DevOps系統(tǒng)的現(xiàn)狀

騰訊的網(wǎng)絡(luò)運(yùn)營先后經(jīng)歷人工操作、工具腳本、自動化等這幾個階段。運(yùn)營團(tuán)隊，就是我們熟悉的網(wǎng)工，過去都有專業(yè)的開發(fā)人員來進(jìn)行配套的工具系統(tǒng)開發(fā)。在過去幾年，網(wǎng)工們的開發(fā)能力持續(xù)提升，在DevOps平臺的加持下，已經(jīng)掌握了通用的開發(fā)能力，一些運(yùn)營過程中需要的功能，可以基于DevOps平臺自行開發(fā)了。這樣，傳統(tǒng)的開發(fā)人員和網(wǎng)工，都可以基于這個統(tǒng)一平臺來“吃自己的狗糧”。運(yùn)營人員自行開發(fā)功能，上線后出現(xiàn)問題，反查自己設(shè)計的業(yè)務(wù)邏輯；開發(fā)人員主導(dǎo)開發(fā)功能發(fā)布后，出現(xiàn)了bug，也自己定位代碼或者平臺的問題。這樣，發(fā)現(xiàn)問題后，都先從自身出發(fā)來排查，減少了互相埋怨，大家的關(guān)系也相對融洽起來。
如何建設(shè)DevOps平臺？
我們把建設(shè)的過程分以下6個方面來介紹。
1、上層規(guī)劃 – 運(yùn)營事務(wù)流程化

無流程不運(yùn)營。我們在內(nèi)部先把這個意識先進(jìn)行了統(tǒng)一，這個是DevOps開發(fā)的前提，也是DevOps任務(wù)可編排的前提。我們經(jīng)常說可編排，編排完了之后，不就是由一個個編排后節(jié)點(diǎn)串接起來的流程嗎？下面跟大家介紹下我們內(nèi)部總結(jié)出來的流程成熟的模型。初步評估，騰訊基礎(chǔ)架構(gòu)運(yùn)營處在level 3這個階段。怎么解讀呢？

• 流程體系化，是指我們各個運(yùn)營業(yè)務(wù)基本都有了對應(yīng)的線上流程。幾乎不存在線下操作的場景了。
  
• 部分的流程完成生命周期管理，這個是對流程控制端到端的一個需求。
  
• 較為完善的OLA/SLA管理，有了詳細(xì)的OLA數(shù)據(jù)，我們就能對每個工單的實施過程都能詳細(xì)的分析和管理。
  
• 工具系統(tǒng)敏捷迭代，系統(tǒng)工具除了能直接解決業(yè)務(wù)的需求，還要有二次開發(fā)的能力。
  

在系統(tǒng)架構(gòu)頂層設(shè)計方面，我們使用DDD—領(lǐng)域驅(qū)動設(shè)計的模式，具體到DevOps平臺，著重領(lǐng)域?qū)拥膶嵺`。把DevOps的整體功能模塊分為四大塊：

• 可視化編排平臺：這個是運(yùn)營事務(wù)流程化的具體落地方式。流程圖讓業(yè)務(wù)邏輯可以非常直觀的展示出來。
  
• 應(yīng)用管理模塊：方便用戶參與開發(fā)。SDK的方式，是開源共建的基礎(chǔ)，減少了大量重復(fù)代碼；權(quán)限管理，有效避免了用戶之間的互信影響。
  
• 數(shù)據(jù)運(yùn)營模塊：數(shù)據(jù)化管理。流程及工單數(shù)據(jù)每天都會以非常大的量級增長，沒有完善的任務(wù)超時告警及運(yùn)營數(shù)據(jù)自動收集分析功能，后續(xù)的業(yè)務(wù)維護(hù)會非常耗時耗力。
  
• 平臺管理：是系統(tǒng)運(yùn)維的重要窗口。讓人人可運(yùn)維成為可能。
  

• 需求管理。對需求進(jìn)行建模，把功能點(diǎn)往各個預(yù)分配好的領(lǐng)域靠攏，避免功能碎片化。在騰訊內(nèi)部，有TAPD工具對需求做詳細(xì)跟蹤，保證落地效果。
  
• 開發(fā)環(huán)境。這個是參與DevOps開發(fā)同學(xué)最關(guān)心的地方，直接關(guān)系到開發(fā)效率。主要涉及環(huán)境統(tǒng)一配置、代碼版本管理、測試覆蓋及CI/CD等環(huán)節(jié)。
  
• 流程管理。事務(wù)流程化后，會產(chǎn)生非常多的流程，流程圖需要方便創(chuàng)建及修改；其次在工單建立后，會馬上實例化，任務(wù)執(zhí)行過程中的異常超時基礎(chǔ)配置需要在OLA/SLA中進(jìn)行配置。
  
• 任務(wù)管理。具體事務(wù)的操作，更多的是調(diào)用第三方接口和對設(shè)備進(jìn)行查詢操作。需要全程對任務(wù)的執(zhí)行過程進(jìn)行跟蹤，其次需要把可以復(fù)用的代碼通過SDK有效管理起來，避免重復(fù)開發(fā)。
  
• 運(yùn)維管理。這塊是整個DevOps平臺的后腰，保證系統(tǒng)的正常運(yùn)行，以及出現(xiàn)問題后快速恢復(fù)。
  

提供便于DevOps應(yīng)用開發(fā)和運(yùn)維的Web控制臺，旨在通過頁面可視化以及頁面可操作的手段，提升開發(fā)和運(yùn)維效率。在過去，我們講的D/O分離是指開發(fā)與系統(tǒng)運(yùn)維的分工。在DevOps時代，運(yùn)維工具不但面向?qū)I(yè)開發(fā)人員，也需要面向業(yè)務(wù)開發(fā)人員，讓大家在同一個控制臺中發(fā)現(xiàn)問題、定位問題。在運(yùn)維底層功能方面，我們把流程實例管理、任務(wù)管理及控制臺的功能，按不同的角色進(jìn)行開放。本著誰開發(fā)，誰負(fù)責(zé)的原則，大家一起共同把系統(tǒng)平臺及業(yè)務(wù)功能模塊的可用性維護(hù)起來。
5、認(rèn)證管理 – 建立崗前認(rèn)證培訓(xùn)體系

DevOps是一個以人為本，回歸人性的一種開發(fā)運(yùn)維文化，其效果體現(xiàn)更多的是在于人，在于從業(yè)人員能力的提升，更注重開發(fā)人員的感受。所以，在內(nèi)部有一個DevOps的認(rèn)證體系，經(jīng)過這個體系的培訓(xùn)，可以讓一個小白用戶從零開始逐步上手。這個培訓(xùn)體系主要分為四個步驟：

• 開發(fā)知識基礎(chǔ)。主要是學(xué)習(xí)開發(fā)環(huán)境、代碼管理及代碼檢查一些基礎(chǔ)的知識。
  
• DevOps功能開發(fā)。這個是按照基礎(chǔ)架構(gòu)運(yùn)營功能的特點(diǎn)來展開的，主要的內(nèi)容包括需求的提煉匯總，把運(yùn)營需求用流程圖的形式展示出來，然后進(jìn)行任務(wù)節(jié)點(diǎn)的邏輯代碼編寫。
  
• demo實戰(zhàn)。經(jīng)過以上兩個階段的學(xué)習(xí)，這里可以開始動手了。
  
• 經(jīng)過一系列培訓(xùn)，通過考試后，對學(xué)員頒發(fā)證書。并根據(jù)不同的能力水平，證書也會區(qū)分一級、二級和三級。