聊聊中間件開發(fā)

最近頻繁地在跟實(shí)習(xí)生候選人打交道，每次新接觸一個(gè)候選人，都要花上一定的時(shí)間去介紹我們團(tuán)隊(duì)，候選人問的最多的一個(gè)問題就是「中間件部門一般是干嘛的？」，恰好我之前也接觸過一些想從事中間件開發(fā)的小伙伴，問過我「現(xiàn)在轉(zhuǎn)行做中間件開發(fā)還來得及嗎？」諸如此類的問題，索性就寫一篇文章，聊聊我個(gè)人這些年做中間件開發(fā)的感受吧。

什么是中間件開發(fā)？

我大四實(shí)習(xí)時(shí)，在一個(gè) 20 多人的軟件開發(fā)團(tuán)隊(duì)第一次接觸了中間件，當(dāng)時(shí)項(xiàng)目的架構(gòu)師引入了微博開源的 RPC 框架 Motan，借助于這個(gè)框架，我們迅速構(gòu)建起了一個(gè)基于微服務(wù)架構(gòu)的內(nèi)部電商系統(tǒng)。接著在項(xiàng)目中，由于業(yè)務(wù)需求，我們又引入了 ActiveMQ...在這個(gè)階段，我已經(jīng)在使用中間件了，但似乎沒有接觸到中間件開發(fā)，更多的是使用層面上的接觸。

我畢業(yè)后的第一份工作，公司有幾百號研發(fā)，當(dāng)時(shí)的 leader 看我對中間件比較感興趣，有意把我分配在了基礎(chǔ)架構(gòu)團(tuán)隊(duì)，我第一次真正意義上成為了一名”中間件研發(fā)“，平時(shí)主要的工作，是基于開源的 Kong 和 Dubbo，進(jìn)行一些內(nèi)部的改造，以提供給業(yè)務(wù)團(tuán)隊(duì)更好地使用。這個(gè)階段，做的事還是比較雜的，業(yè)務(wù)團(tuán)隊(duì)對某些中間件有定制化的需求，都需要去了解這個(gè)中間件，熟悉源碼。這段時(shí)間，也是我成長最快的一個(gè)時(shí)期，我是在這個(gè)期間學(xué)會了 Docker、Neo4j、Kong 等以前從來沒接觸過的技術(shù)，并且更加深入地了解 Dubbo 這類 RPC 框架的原理?？赡茏谖遗赃叺木褪且粋€(gè)訂單部門的同學(xué)，拋了一個(gè)功能點(diǎn)讓我來改造。

現(xiàn)在，我供職于阿里云云原生中間件，相較于上一份中間件研發(fā)工作，阿里云這類互聯(lián)網(wǎng)大公司，任意一個(gè)中間件都有少則數(shù)人，多則數(shù)十人負(fù)責(zé)，中間件部門和業(yè)務(wù)部門之間也有著明確的界限。在這里，中間件團(tuán)隊(duì)的職責(zé)可以細(xì)分為三個(gè)方向：

1. 中間件團(tuán)隊(duì)會被業(yè)務(wù)團(tuán)隊(duì)的需求所驅(qū)動，為集團(tuán)內(nèi)部提供定制化的解決方案，俗稱「自研」。所以你可能并不了解到 HSF、Diamond 這些阿里內(nèi)部的中間件。
2. 中間件團(tuán)隊(duì)會從事開源，花費(fèi)大量的精力提升中間件的極致性能，提升開源影響力，引領(lǐng)技術(shù)先進(jìn)性。這部分中間件則比較為人所熟知，例如 Dubbo、Spring Cloud Alibaba、RocketMQ、Nacos。
3. 中間件會在阿里云輸出商業(yè)化產(chǎn)品，相比開源產(chǎn)品，提供更高的 SLA、更強(qiáng)大的功能、更友好的交互。這部分商業(yè)化產(chǎn)品諸如：微服務(wù)引擎 MSE、消息隊(duì)列 RocketMQ、分布式應(yīng)用鏈路追蹤 ARMS。

我的這三段經(jīng)歷，正好反應(yīng)了不同規(guī)模的公司對中間件開發(fā)的不同需求。小公司使用中間件，例如 RPC、MQ、緩存等，基本是由業(yè)務(wù)開發(fā)人員自己維護(hù)的。但如果后臺研發(fā)達(dá)到數(shù)百人，基本就會組建自己的中間件團(tuán)隊(duì)，或者選擇使用阿里云等云廠商提供的中間件產(chǎn)品。

中間件開發(fā)和業(yè)務(wù)開發(fā)的區(qū)別

在我看來，中間件開發(fā)和業(yè)務(wù)開發(fā)并沒有什么高下之分，非要說區(qū)別的話，有點(diǎn)像游戲里面的不同轉(zhuǎn)職，有人選擇的是魔法師，有人選擇的是戰(zhàn)士。在職場的練級過程中，每個(gè)人的總技能點(diǎn)數(shù)是一樣的，業(yè)務(wù)開發(fā)有點(diǎn)向全能戰(zhàn)士的方向去發(fā)展，各個(gè)點(diǎn)都涉獵一點(diǎn)，但每個(gè)方向能夠分配到技能點(diǎn)自然就少了；中間件開發(fā)就像《因?yàn)樘峦矗腿c(diǎn)防御力了》里面的主角，把技能點(diǎn)都分配到了一個(gè)方向。

假設(shè)你是在一個(gè)小公司工作，現(xiàn)階段并沒有專門的中間件團(tuán)隊(duì)，大家都是業(yè)務(wù)開發(fā)，此時(shí)我們做一個(gè)假設(shè)：公司即將成立一個(gè)中間件團(tuán)隊(duì)或者叫基礎(chǔ)架構(gòu)部，那么會是哪一類人容易被選中呢？一定是那些技術(shù)功底扎實(shí)，對中間件感興趣，研究過源碼的人。這個(gè)假設(shè)并非憑空捏造，很多互聯(lián)網(wǎng)公司的中間件團(tuán)隊(duì)都是這么一點(diǎn)點(diǎn)壯大起來的。我想說什么呢？業(yè)務(wù)開發(fā)和中間件開發(fā)一開始并沒有明確的界限，因此，不用顧忌你現(xiàn)在是不是在從事業(yè)務(wù)開發(fā)，只要你對中間件感興趣，有過源碼級別的研究，就可以成為一個(gè)中間件開發(fā)。

中間件開發(fā)需要具備哪些素質(zhì)？

越是大的公司，大的中間件團(tuán)隊(duì)，責(zé)任分工就越垂直?；驹诖蠊?，一個(gè)中間件開發(fā)可能花幾年時(shí)間在某一個(gè)垂直方向深耕。以下是一些常見的中間件方向，當(dāng)然，這個(gè)分類在各個(gè)公司可能由于組織架構(gòu)的原因，略有不同。

1. 微服務(wù)治理。例如 RPC 相關(guān)中間件，注冊中心，配置中心，限流熔斷，鏈路追蹤等等。開源產(chǎn)品例如：Dubbo、SpringCloud、Nacos、Zookeeper、Sentinel、Hystrix、Zipkin。
2. 消息隊(duì)列。微服務(wù)一般強(qiáng)調(diào)的同步通信，消息隊(duì)列單獨(dú)列出來，主要是因?yàn)槠洚惒降臋C(jī)制。開源產(chǎn)品例如：RocketMQ、Kafka
3. 存儲中間件。例如緩存，數(shù)據(jù)庫等等，例如 Mysql、Redis。值得一提的是，由于存儲相關(guān)的系統(tǒng)一般都非常復(fù)雜，特別是在分布式存儲領(lǐng)域，體系更是繁雜，在阿里內(nèi)部一般將數(shù)據(jù)庫和緩存這種存儲類型的產(chǎn)品當(dāng)成是和中間件平級的存在，所以如果有人說 Mysql 和 Redis 不是中間件，也沒有啥好爭吵的。
4. 存儲 Proxy。典型的如 ShardingSphere。
5. 網(wǎng)關(guān)。例如 Spring Cloud Gateway、Kong、Nginx。
6. ServiceMesh。Envoy、Istio 在阿里這邊也被劃分在中間件部門。

其實(shí)可以發(fā)現(xiàn)，中間件其實(shí)并沒有一個(gè)明確的定義，到底哪些開源產(chǎn)品可以是中間件，哪些又不是。

列舉完這些典型的中間件，繼續(xù)討論這一節(jié)的主題，一個(gè)中間件開發(fā)者需要具備哪些素質(zhì)？

1. 語言基礎(chǔ)。從 Java 程序員的角度，基礎(chǔ)通常就是：集合，并發(fā)，JVM，常用工具類。
2. 操作系統(tǒng)基礎(chǔ)。中間件開發(fā)人員經(jīng)常和操作系統(tǒng)打交道，所以計(jì)算機(jī)基礎(chǔ)也必不可少，我列舉一些關(guān)鍵詞，供各位參考

• 文件 IO。例如 pageCache，mmap，direct IO 等概念。
• 進(jìn)程線程。例如 green thread，協(xié)程等概念。
• 內(nèi)存/CPU。例如 cgroup，cache line，bound core 等概念。

如何成為中間件開發(fā)

看完上述這些要求，可能會有一些同學(xué)開始咋舌了，但其實(shí)也沒那么可怕，這跟最早學(xué)習(xí) Java 基礎(chǔ)是一樣的，很多東西一開始沒有接觸過，覺得很難，但熟悉之后會發(fā)現(xiàn)，也就那么回事。

我的技術(shù)交流群中經(jīng)常會有同學(xué)抱怨說，平時(shí)只能接觸到 CRUD，根本接觸不到這些”高大上“的技術(shù)。我想說的是，機(jī)會都是自己找的。我這里有幾個(gè)切實(shí)可行的建議：

1. 參與開源社區(qū)的項(xiàng)目，貢獻(xiàn)代碼。了解一個(gè)中間件最好的方式就是貢獻(xiàn)它，帶著問題有的放矢地研究源碼，是我比較推薦的方式，你所需要做的是尋找一個(gè)合適的 issue，解決它。不斷重復(fù)這個(gè)過程，你其實(shí)就是一個(gè)中間件開發(fā)了！
2. 多動手做實(shí)驗(yàn)。很多上面提到的中間件開發(fā)應(yīng)用的素質(zhì)都可以通過動手做實(shí)驗(yàn)的方式來學(xué)習(xí)，例如動手實(shí)現(xiàn)一個(gè)簡易的 RPC 框架，實(shí)現(xiàn)一個(gè) Raft 協(xié)議的 POC，通過 benchmark 對比 FileChannel 和 MMAP 的性能，相信我，這比看書、看視頻、看博客有用的多的多。
3. 參與中間件挑戰(zhàn)賽。最早是阿里會舉辦一年一度的中間件性能挑戰(zhàn)賽，后來也有一些其他公司如華為開始效仿這類比賽，參與這些挑戰(zhàn)賽也可以積累非常多的經(jīng)驗(yàn)，同時(shí)你還可以借著組隊(duì)，結(jié)交非常多的朋友。