座談交流:你寫(xiě)過(guò)最復(fù)雜的架構(gòu)是啥
2022-09-26
伍總監(jiān):“目前為止你寫(xiě)過(guò)最復(fù)雜的架構(gòu)是什么?我們車(chē)企需要自己研發(fā)中間件,對(duì)架構(gòu)方面要求頗高。”
他重點(diǎn)是“我寫(xiě)過(guò)”什么架構(gòu),而不是“我用過(guò)”什么架構(gòu)。
我……省略一萬(wàn)字說(shuō)了個(gè)不痛不癢的應(yīng)用層架構(gòu)。很多年不怎么寫(xiě)應(yīng)用程序了,最多寫(xiě)些測(cè)試用例,近年一直干著預(yù)研的工作,很少涉及具體應(yīng)用。
2個(gè)我寫(xiě)的架構(gòu)
其實(shí)2015-2018年干應(yīng)用層的時(shí)候,倒是寫(xiě)過(guò)幾個(gè)架構(gòu),其中有2個(gè)架構(gòu)不是孤芳自賞,它們還得到同事的認(rèn)可,在其他項(xiàng)目上也得到應(yīng)用。
MiniShellEx:誕生于2014年中旬,應(yīng)用程序命令行接口,提供命令補(bǔ)全、提示功能,最有價(jià)值的是可以依靠它去編寫(xiě)單元測(cè)試, 節(jié)省單元測(cè)試代碼量。其實(shí)還有一個(gè)精簡(jiǎn)版MiniShell Tiny,用于stm32單片機(jī)后臺(tái)調(diào)試,MiniShell Tiny它不依賴(lài)Linux庫(kù)libreadline。
EpollServerX:誕生于2015年初,看名字都知到他是基于epoll的以太網(wǎng)服務(wù)器庫(kù),它與MiniShellEx結(jié)合起來(lái),可以搭建遠(yuǎn)程單元測(cè)試框架, 既可以做服務(wù)器,也可以做客戶(hù)端。若當(dāng)時(shí)我知道libevent的存在,或許我不會(huì)重復(fù)造輪子。
它們的鏈接如下(你可能需要梯子):
-
https://github.com/MenglongWu/EpollServerX
-
https://gitee.com/MenglongWu/MiniShellEx
最復(fù)雜架構(gòu)
我所認(rèn)為的架構(gòu),應(yīng)該是盡可能使用現(xiàn)存架構(gòu),除非確認(rèn)已存在的架構(gòu)存在瓶頸,才少量嘗試創(chuàng)新、突破。
2015年干過(guò)一個(gè)最復(fù)雜的架構(gòu),我毫掩飾地評(píng)價(jià)它是最?lèi)盒募軜?gòu),說(shuō)他惡心的根本原因是我本可以編寫(xiě)少量、甚至不編寫(xiě)代碼,也就是上文說(shuō)所的盡可能使用現(xiàn)存架構(gòu), 不僅同時(shí)用上EpollServerX和MiniShellEx,還寫(xiě)了一個(gè)本不應(yīng)該寫(xiě)的軟路由,最后該工程框架成了公司祖?zhèn)鞔a,后面2個(gè)同事拿著它做二次開(kāi)發(fā)。
我們的工程是這樣的,一個(gè)19寸機(jī)箱里有13快業(yè)務(wù)板和1塊軟路由板。像這樣的機(jī)箱有百來(lái)個(gè),他們都與服務(wù)器發(fā)生數(shù)據(jù)交互。
行業(yè)里的做法應(yīng)該是軟路由上搭建NAPT,服務(wù)器向軟路由發(fā)起連接,根據(jù)端口區(qū)分業(yè)務(wù)板。例如:
-
軟路由IP:192.168.1.5
-
業(yè)務(wù)板服務(wù)器和端口:192.168.0.1:1000
-
業(yè)務(wù)板服務(wù)器和端口:192.168.0.2:1000
-
當(dāng)服務(wù)器要像業(yè)務(wù)板1通信,則連接192.168.1.5:10001;
-
當(dāng)服務(wù)器要像業(yè)務(wù)板2通信,則連接192.168.1.5:10002;
-
軟路由做的工作叫做端口映射N(xiāo)APT;
而我們產(chǎn)品經(jīng)理偏不按常理出牌,要要在軟路由上開(kāi)放端口2000,軟路由連接機(jī)框內(nèi)各業(yè)務(wù)板,服務(wù)器只連接軟路由,開(kāi)發(fā)服務(wù)器的工程師說(shuō)擔(dān)心服務(wù)器處理不過(guò)來(lái),畢竟幾百個(gè)機(jī)框累計(jì)起來(lái),服務(wù)器得維護(hù)數(shù)前個(gè)連接呢,只連接軟路僅幾百個(gè)連接。
我納悶:“數(shù)千個(gè)連接不多呀,你不是用Windows下的完成端口模式嗎,應(yīng)該沒(méi)什么壓力,而且我們的業(yè)務(wù)板也不是事實(shí)都有數(shù)據(jù)流量?!?/span>
Windows的完成端口設(shè)計(jì)目的與Linux的epoll一樣,都是應(yīng)對(duì)多連接場(chǎng)景。
老工程師:“以前都是如此干的,要?jiǎng)蛹軜?gòu)不太好改?!?/span>
好吧,擰不過(guò)老干部。于是我開(kāi)始實(shí)現(xiàn)又長(zhǎng)又臭的業(yè)務(wù)。
如此設(shè)計(jì)
第1秀:私有命令碼
EpollServerX監(jiān)聽(tīng)兩個(gè)端口,端口2000是項(xiàng)目業(yè)務(wù)所需要的,協(xié)議按照項(xiàng)目的來(lái)。業(yè)務(wù)命令碼有近100條,我特意向產(chǎn)品經(jīng)理申請(qǐng)一條私有命令碼。留下一條后門(mén),專(zhuān)門(mén)用于傳送字符串,字符串的內(nèi)容提供給MiniShellEx解析,使我有更多的方式去調(diào)試。
開(kāi)發(fā)階段,軟路由就在我的桌面,我完全可以ssh、telnet遠(yuǎn)程登錄操作板卡。當(dāng)真正上業(yè)務(wù)后,運(yùn)營(yíng)商會(huì)封死任何與業(yè)務(wù)無(wú)關(guān)的端口,真要出問(wèn)題我就抓瞎了。擁有私有命令碼后,依靠現(xiàn)有端口完全可以秀各種操作,包括shell反彈、連接重定向。
第2秀:自連接
EpollServerX目的是充當(dāng)服務(wù)器,其二也可以充當(dāng)客戶(hù)端。但你有想過(guò)服務(wù)器自己連接自己?jiǎn)?/strong>?
開(kāi)放2000端口,然后自己連接自己,為什么有奇葩需求?——為了編寫(xiě)測(cè)試用例,實(shí)現(xiàn)除了軟路由之外的業(yè)務(wù)。
某飛機(jī)操作系統(tǒng),或者說(shuō)飛機(jī)上的應(yīng)用程序,下載后文件有百萬(wàn)行,實(shí)際使用的代碼只有幾萬(wàn)航而已,其他的都是他的測(cè)試用例。通常我們會(huì)把測(cè)試用例與業(yè)務(wù)代碼分離出來(lái),不過(guò)飛機(jī)項(xiàng)目可是把測(cè)試用例與業(yè)務(wù)一同編譯、打包、發(fā)布。
當(dāng)初設(shè)計(jì)時(shí)我沒(méi)打算向飛機(jī)項(xiàng)目看齊,僅僅是當(dāng)時(shí)年輕,提出反對(duì)意見(jiàn)沒(méi)人聽(tīng),倘若老干部的代碼有BUG我要是沒(méi)有足夠證據(jù)去證明,老干部是不承認(rèn)的。
于是未雨綢繆,把他們的業(yè)務(wù)都實(shí)現(xiàn)了(傳遞的是假數(shù)據(jù)),集成測(cè)試能夠自己先測(cè)試。
第3秀:數(shù)據(jù)流
正式業(yè)務(wù)數(shù)據(jù)流很簡(jiǎn)單,業(yè)務(wù)數(shù)據(jù)從以太網(wǎng)來(lái),指定業(yè)務(wù)端口,數(shù)據(jù)流直上到應(yīng)用層,最后從原路返回。
測(cè)試階段我可以用命令行,在本地ttyX終端執(zhí)行任何測(cè)試用例子:
如果測(cè)試用例屬于本地查詢(xún)業(yè)務(wù),則執(zhí)1、2流程;如果測(cè)試用例屬于主動(dòng)向其他板卡發(fā)送指令,則執(zhí)3、4流程;
當(dāng)業(yè)務(wù)開(kāi)通后,運(yùn)營(yíng)商只開(kāi)通業(yè)務(wù)端口2000,真?zhèn)€數(shù)據(jù)流和第二張圖幾乎一抹一樣,差別在于一個(gè)命令來(lái)源于ttyX、另一個(gè)來(lái)源于私有命令碼。
當(dāng)同事還沒(méi)開(kāi)發(fā)完成業(yè)務(wù)板、服務(wù)器,我則使用ttyX對(duì)自己的軟路由做自連接測(cè)試,ttyX啟動(dòng)測(cè)試用例,模擬其他網(wǎng)絡(luò)節(jié)點(diǎn)向軟路由發(fā)送數(shù)據(jù)。
好了,框圖還是比較好畫(huà)的,至于具體實(shí)現(xiàn)要牽扯到數(shù)據(jù)結(jié)構(gòu),太多,以后有空再寫(xiě),其實(shí)本項(xiàng)目可以用無(wú)鎖編程,調(diào)試起來(lái)會(huì)麻煩一點(diǎn),當(dāng)年還是用上了少量的鎖。
開(kāi)發(fā)
記得我和同事A討論:“測(cè)試50號(hào)命令,代碼在8千xx行?!?/span>
旁邊的另一個(gè)同事B聽(tīng)著:“你不是做軟路由嗎,幾行代碼不就寫(xiě)完了,怎么搞出8千行。給你年輕人減輕壓力,看來(lái)也做不出什么東西?!?/span>
同事A是知道我實(shí)現(xiàn)3份代碼的,沒(méi)多爭(zhēng)辯:“他實(shí)現(xiàn)的內(nèi)容會(huì)比你實(shí)現(xiàn)的東西穩(wěn)定得多?!崩^續(xù)和我調(diào)試。
項(xiàng)目第一階段我是開(kāi)發(fā)最久的,其他兩人大概2.5月完成,我花了3個(gè)月。核心業(yè)務(wù)其實(shí)不超過(guò)6千行,為了6千行的穩(wěn)定寫(xiě)了8千行去實(shí)現(xiàn)其他業(yè)務(wù)的代碼,以及幾千行測(cè)試用例。測(cè)試用例子與實(shí)際業(yè)務(wù)工作量差不多是4:1。
在測(cè)試階段,我借助著MiniShellEx只花費(fèi)1天時(shí)間測(cè)試萬(wàn)80多條命令。反觀幾天后甲方來(lái)與我們聯(lián)調(diào),3天時(shí)間測(cè)試不足20條命令。
收貨
項(xiàng)目第一階段交付,交付后甲方提出下一階段的要求,列出若干新增業(yè)務(wù),業(yè)務(wù)板、軟路由板、服務(wù)器3塊業(yè)務(wù)開(kāi)發(fā)的同事都分配到了任務(wù)。
粗略計(jì)算大概要1個(gè)多月才能提交第二階段,我呢在一周后叫到:“完工,什么時(shí)候可以和你們集成測(cè)試?”
之前嘲諷我為什么寫(xiě)8千多行代碼的同事:“灌鴨子??!這么快!”
我挺得意:“不僅僅功能實(shí)現(xiàn),測(cè)試用例也跑了一遍,現(xiàn)在就等你們完工給我真實(shí)數(shù)據(jù)?!蔽⑿δ?。
工作量守恒定律。前面看似吃點(diǎn)虧把其它不歸我的業(yè)務(wù)也實(shí)現(xiàn)了,正是我在第一階段實(shí)現(xiàn)了3塊業(yè)務(wù),它也創(chuàng)造一個(gè)測(cè)試環(huán)境,我可以不依賴(lài)其他同事任務(wù)進(jìn)度,獨(dú)自完成軟路由的功能測(cè)試。其二,我的架構(gòu)能同時(shí)兼容3種業(yè)務(wù)的實(shí)現(xiàn),也證明架構(gòu)有一定的彈性。