一、產(chǎn)生背景

hulk框架是在“好看視頻”服務(wù)端的go服務(wù)化架構(gòu)升級(jí)背景下產(chǎn)生的。

1.1 為什么要做架構(gòu)升級(jí)？當(dāng)前架構(gòu)面臨哪些問題？

1.2 為什么不直接基于GDP2 ？

好看的go服務(wù)化升級(jí)工作開展時(shí)，GDP2還未正式發(fā)布，這也是其中一個(gè)因素。

1.3 hulk與gdp2能?對(duì)照

1.3.1 web server能?

1.3.2?功能/組件

1.3.3 框架周邊及基礎(chǔ)設(shè)施

NOTE：

1. 好看在做go化時(shí)，也調(diào)研了開源社區(qū)??較優(yōu)秀的?些?具系統(tǒng)和?案并引?， hulk中默認(rèn)添加了對(duì)這些基礎(chǔ)設(shè)施的集成；

1.3.4 對(duì)照總結(jié)

GDP2由幾十個(gè)模塊共同構(gòu)成，由于時(shí)間有限，可能個(gè)別功能點(diǎn)的對(duì)照有偏差。

二、了解hulk

2.1 設(shè)計(jì)思路

2.2 框架結(jié)構(gòu)

2.2.1 基礎(chǔ)組件

• 日志組件：默認(rèn)支持與PHP兼容的打印格式（用于配置sia監(jiān)控和報(bào)警），同時(shí)也兼容ftrace接入的格式（日志查詢和問題定位）；

• 云原生監(jiān)控：默認(rèn)支持prometheus，對(duì)所有接口請(qǐng)求、redis、ral等遠(yuǎn)程調(diào)用進(jìn)行多維度的metrics采集，并通過grafana展示；

• 配置中心：通過配置中心，可以實(shí)時(shí)下發(fā)并生效配置。目前支持Apollo/iConf，支持功能包括-版本管理、熱發(fā)布、灰度發(fā)布、權(quán)限管理、審核與審計(jì)等；

• 事件追蹤/定位：借助sentry，對(duì)于一些故障，我們可以秒級(jí)感知。hulk在異常信息中保存了比較完整的現(xiàn)場信息-如調(diào)用棧、request、集群和實(shí)例信息等，通過這些信息，可以直接定位問題的原因；

2.2.2 通用組件

• ral組件：hulk的ral模塊封裝了GDP2的ral主體功能，同時(shí)，對(duì)ral進(jìn)行了增強(qiáng)- a)?提供了通過字符串而非文件來進(jìn)行ral初始化和ral懶加載功能；b)?提供了多個(gè)hook能力，如prometheus的監(jiān)控信息采集，熔斷、降級(jí)等；

• 服務(wù)治理：框架的服務(wù)治理能力是基于Sentinel （阿里開源的高可用流量防護(hù)組件）和配置中心來構(gòu)建的，主要以流量為切入點(diǎn)，從限流、流量整形、熔斷、降級(jí)等多個(gè)維度來協(xié)助保障微服務(wù)的穩(wěn)定性，并提供動(dòng)態(tài)控制能力；

• 協(xié)程池：a) 可以自動(dòng)調(diào)度海量協(xié)程，復(fù)用goroutines，減少gc，b)?可以優(yōu)雅處理 panic，防止程序崩潰 c)?提供了：任務(wù)提交、獲取運(yùn)行中的 goroutine 數(shù)量、封裝了WaitGroup支持協(xié)程任務(wù)編排等功能；

• 事件通知：框架與如流做了集成。用戶將robot token配置在項(xiàng)目里，就可以直接使用ruliu組件向指定的如流群發(fā)送報(bào)警/通告。如流組件結(jié)合sentry，可以讓我們第一時(shí)間知道程序出了問題并快速定位到問題；
  
  

2.2.3?擴(kuò)展組件

2.2.4 http server

• logger_middleware：用于記錄http的請(qǐng)求、響應(yīng)、耗時(shí)等信息，同時(shí)支持實(shí)時(shí)修改日志打印策略-如按idc/ip/百分比/uid/cuid等維度打??；

• timer_middleware：用于http請(qǐng)求的監(jiān)控埋點(diǎn)，可以輸出可用性、tp99、流量、平響、錯(cuò)誤碼等metrics，維度包括服務(wù)級(jí)/idc/instance等；

• recover_middleware：用于捕獲http 請(qǐng)求鏈路中的painc事件，并可自定義panic handler邏輯，如通過結(jié)合sentry和如流，可以實(shí)時(shí)感知并定位panic事件；

• flow_control_middleware：接口限流組件，可以通過配置中心或管理接口，對(duì)接口按idc/instance維度進(jìn)行限流；

• timeout_middleware：通過該middleware或與配置中心結(jié)合使用，可以對(duì)接口按idc維度進(jìn)行超時(shí)控制；

• 其他middleware可以查看hulk文檔
  （如-internal_user_middleware、jager_opentracing_middleware、thirdparty_auth_middleware、b2logger_middleware等）

• 管理控制接口：如健康檢查接口，服務(wù)治理-熔斷、限流、降級(jí)接口，metrics接口，線上實(shí)例性能調(diào)試接口等；

2.3 框架生態(tài)

• 標(biāo)準(zhǔn)目錄規(guī)范：避免各個(gè)項(xiàng)目結(jié)構(gòu)不統(tǒng)一，減少項(xiàng)目維護(hù)難度和工作量；

• 代碼生成器：基于hulk框架、標(biāo)準(zhǔn)目錄規(guī)范、組件使用規(guī)范的代碼生成器，目的是減少通用模塊/組件使用不規(guī)范，解決通用流程編碼、處理不一致的問題；

• hklib：好看的通用lib庫，提供了一些的通用功能（也包含了很多PHP轉(zhuǎn)go過程中的一些orp通用/基礎(chǔ)的函數(shù)/功能），也提供了50 對(duì)中臺(tái)服務(wù)的調(diào)用client，減少重復(fù)代碼，提升研發(fā)效率，提升可維護(hù)性；

• 基礎(chǔ)設(shè)施：prometheus thanos集群、sentry服務(wù)、apollo集群、pyroscope性能分析平臺(tái)等；

• iconf：好看自研配置中心，能力在對(duì)齊開源的Apollo之外，還增加/增強(qiáng)了一些功能，如-key維度的發(fā)布、更安全的配置獲取、更簡潔的操作頁面、類分級(jí)發(fā)布等；

• artemis：服務(wù)可視化與故障智能定位系統(tǒng)，可以在該系統(tǒng)中看到服務(wù)的部署架構(gòu)、服務(wù)內(nèi)部調(diào)用鏈、多維度細(xì)粒度的近實(shí)時(shí)監(jiān)控和關(guān)鍵日志。在發(fā)生可用性故障時(shí)，一些故障問題可以秒級(jí)的定位到原因和具體代碼；
  
  

2.4 框架應(yīng)用情況

資源和性能收益，很大一部分要?dú)w屬于PHP->Go的技術(shù)棧切換；而框架為服務(wù)應(yīng)用相應(yīng)技術(shù)棧特性提供了便捷和高效的方式。

2.4?hulk服務(wù)架構(gòu)

• 框架中個(gè)各功能組件都是圍繞業(yè)務(wù)各個(gè)場景和需求的，在業(yè)務(wù)邏輯中能夠比較便捷的使用相關(guān)功能組件；

• 這些組件在啟用后，也會(huì)與相應(yīng)的基礎(chǔ)設(shè)施進(jìn)行交互融合，共同支撐服務(wù)的高效、可控和穩(wěn)定的運(yùn)行；
  
  

hulk組件初始化及與周邊基礎(chǔ)設(shè)施的集成，基本都可以通過環(huán)境變量/配置文件來完成。

三、框架能力與應(yīng)用

3.1 如何提升代碼質(zhì)量？

• 代碼質(zhì)量會(huì)直接影響代碼維護(hù)成本；
• 代碼質(zhì)量會(huì)影響程序出bug的概率；
• 代碼質(zhì)量會(huì)影響程序運(yùn)行效率；

3.1.1?規(guī)范代碼組織結(jié)構(gòu)

降低項(xiàng)目維護(hù)成本，提升研發(fā)效率。

• 通過標(biāo)準(zhǔn)目錄規(guī)范，定義通用(http服務(wù))的項(xiàng)目layout，避免出現(xiàn)每人一種或多種layout，最終項(xiàng)目結(jié)構(gòu)“百花齊放”的現(xiàn)象；

• 通過代碼生成器，幫助開發(fā)者生成項(xiàng)目模板，對(duì)初始化流程，各目錄/文件的使用進(jìn)行潛在約定；

3.1.2 編碼規(guī)范和靜態(tài)檢查

提升代碼可讀性，減少低級(jí)代碼bug

• 遵循百度Go編碼規(guī)范 業(yè)務(wù)編碼補(bǔ)充規(guī)范；

• 使用GDP的代碼檢查工具：go_fmt、goc；

3.1.3 配套的壓測和性能分析平臺(tái)

確定服務(wù)的壓力邊界，發(fā)現(xiàn)潛在的性能問題。

• 壓測和性能測試平臺(tái)（測試環(huán)境）：nGrinder

• 程序性能分析平臺(tái)：pyroscope?？梢酝ㄟ^hulk自集成的管理接口，實(shí)時(shí)打開或關(guān)閉線上實(shí)例的“continuous-prof”功能，定位線上性能問題：

3.2 如何提升開發(fā)迭代速度？

• 如何讓開發(fā)者專注于業(yè)務(wù)邏輯與實(shí)現(xiàn)？
• 如何讓開發(fā)者快速響應(yīng)并完成產(chǎn)品需求？

3.2.1?豐富的實(shí)用組件/功能

提升研發(fā)效率，避免試錯(cuò)，減少出錯(cuò)。

• 程序增強(qiáng)組件：增強(qiáng)的redis/mysql功能，增強(qiáng)的ral調(diào)用等。例-下圖中的redis監(jiān)控，其監(jiān)控指標(biāo)是由hulk redis組件自動(dòng)采集計(jì)算的：

• 優(yōu)秀的開源組件：sentry、prometheus grafana、apollo、協(xié)程池等。例-prometheus grafana：hulk框架默認(rèn)支持prometheus，可以對(duì)服務(wù)的可用性、QPS、耗時(shí)、錯(cuò)誤碼等metrics自動(dòng)計(jì)算收集：

• 豐富的http middleware。

3.2.2 配置化、低代碼支持

減少代碼的修改和上線，提升需求的響應(yīng)和完成速度。

• hulk框架中大部分組件可以通過環(huán)境變量/配置文件來初始化；

• 業(yè)務(wù)邏輯中的可變數(shù)據(jù)與配置，可以通過apollo/iconf實(shí)時(shí)下發(fā)和生效，無需代碼修改和長流程上線。例-可以通過開箱即用的配置中心功能，實(shí)時(shí)下發(fā)并生效配置：

3.3 如何快速感知并定位問題？

• 開發(fā)者如何快速感知服務(wù)中的問題，嚴(yán)重問題如何實(shí)時(shí)感知？

• 開發(fā)者如何能從監(jiān)控、日志、報(bào)警中獲得詳細(xì)的問題信息，以快速定位問題？

3.3.1 完善的事件追蹤定位與通告能力

能夠?qū)崟r(shí)追蹤開發(fā)者自定義的錯(cuò)誤并通告

• 實(shí)時(shí)事件追蹤組件：sentry。hulk提供了開箱即用的sentry組件功能，可以像打印日志一樣使用，sentry中的信息包含代碼調(diào)用棧、上下文、自定義關(guān)鍵信息等：

• 通告組件：ruliu。一行token配置就可以開啟如流功能，可以將一些需要立即關(guān)注的信息實(shí)時(shí)打到如流群里，同時(shí)還可以和sentry結(jié)合，實(shí)現(xiàn)異常問題實(shí)時(shí)感知和定位：

3.3.2 prometheus sia監(jiān)控支持

通過prometheus與noah的互補(bǔ)，支持多維度全方位監(jiān)控，能夠獲得更多的服務(wù)穩(wěn)定性相關(guān)信息

• prometheus為開發(fā)者提供靈活的多維度的業(yè)務(wù)監(jiān)控信息；

• sia可以為開發(fā)者提供基于日志的采集的服務(wù)穩(wěn)定指標(biāo)和容器、網(wǎng)絡(luò)等資源維度監(jiān)控信息；

3.3.3 ftrace日志查詢與分析功能

hulk默認(rèn)支持ftrace平臺(tái)的日志格式

• 通過ftrace，可以便捷高效的查詢用戶維度的日志信息；

• 通過pdo2命令，可以檢索查詢自定義規(guī)則的日志信息；

3.4 基于hulk的服務(wù)可視化和故障智能定位系統(tǒng)

3.4.1 服務(wù)部署架構(gòu)

3.4.2 近實(shí)時(shí)多維度監(jiān)控

• 某個(gè)URI下面的某個(gè)下游(或下游實(shí)例)RAL的QPS、耗時(shí)、可用性；

• 某個(gè)服務(wù)實(shí)例實(shí)例的URI或RAL的監(jiān)控信息；

3.4.3 關(guān)鍵日志

3.4.4 服務(wù)調(diào)用鏈

3.4.5 使用案例

四、總結(jié)

五、附錄 （外網(wǎng)不可訪問）