為什么我們決定舍棄 Python?又是為什么選擇了 Go?

　　切換到新的編程語言始終是一件大事，尤其是在這種嚴峻的情況下：團隊成員中僅有一人具備該種語言的使用經(jīng)驗。今年年初，我們將 Stream’s 的主要編程語言從 Python 切換到了 Go。 這篇文章將給出一些理由以說明兩個問題：為什么我們決定舍棄 Python?又是為什么選擇了 Go?

　　Reasons to Use Go

　　為什么使用 Go?

　　Reason 1?—?Performance

　　原因 1 – 性能

　　Go 的運行速度非?？?。性能類似于 Java 或者 C++。對于我們的使用情況來說，Go 一般比 Python 快 30 倍。這里有個小型的測試游戲 Go vs Java。

　　原因 2 – 語言的性能很重要

　　對于很多應用來說，編程語言只是應用程序和數(shù)據(jù)庫之間的粘合劑。語言本身的性能通常無關緊要。

　　然而，Stream 是一家 API 提供商，其為 500 家公司和 2 億多終端用戶提供信息流基礎設施。我們一直在優(yōu)化 Cassandra、PostgreSQL 和 Redis 等工具。這持續(xù)了好幾年，但是最終，我們還是到達了所用語言的瓶頸。

　　Python 是一門很棒的語言，但是在諸如序列化/反序列化、排序以及聚合之類的場景上，它的性能相當差。我們常常遇到性能上的問題：花 1ms 的時間拿到 Cassandra 中的數(shù)據(jù)，Python 接下來還需要花 10ms 的時間將拿到的數(shù)據(jù)轉換成對象。

　　原因 3 – 開發(fā)人員的開發(fā)效率 & 拒絕太富有創(chuàng)造性

　　看看這些來自于 How I Start Go tutorial 的 Go 的代碼片段。(這是一個很棒的教程，也是一個學習 Go 語言的一個很好的起點。)

　　如果你是 Go 語言新手，在閱讀那些代碼片段時，沒有什么會讓你大吃一驚。這些代碼段僅僅演示了go語言的一些特性，例如賦值、數(shù)據(jù)結構、指針、格式化和內(nèi)置的 HTTP 庫。

　　當我第一次開始編程時，我總是喜歡用 Python 比較高級的特性。Python 允許你更有“創(chuàng)意”的寫代碼。比如，你能夠做如下的事：

　　在代碼初始化時使用元類自行注冊類

　　關鍵字 True 和 False 的值可以互換

　　編寫自己的函數(shù)，并且使其成為內(nèi)建函數(shù)。

　　通過魔法方法重載運算符

　　這些特性很有趣，但是，正如大多數(shù)程序員都同意的那樣，在閱讀別人的代碼時，它們的存在使得代碼更難理解。

　　Go 迫使你回歸基礎。這決定了 Go 代碼是容易閱讀和理解的。

　　說明：當然，“容易”的程度需要視情況而定。如果你想要創(chuàng)建一個基本的增刪改查接口，我仍然推薦你使用 Django + DRF，或者用 Rails。

　　原因 4 – 并發(fā) & 管道

　　作為一門編程語言，Go 試圖讓事情變得簡單。它沒有引入很多的新概念。重點是創(chuàng)造的這門編程語言的性能要難以置信的快，并且容易上手。goroutines 和管道是 Go 僅有的創(chuàng)新點。(準確的講，CSP 這個概念1977年就被提出了，因此這個創(chuàng)新更準確的說法是——舊點子的新實現(xiàn))Goroutines 是 Go 對線程的輕量級實現(xiàn)，而管道是讓 goroutines 之間相互通信的絕佳的方式。

　　Goroutines 占用的資源非常少，只需要幾 KBs 的額外內(nèi)存。因為 Goroutines 非常輕量，所以同時運行數(shù)百甚至數(shù)千個也不在話下。

　　你可以使用管道在 goroutines 之間通信。Go 運行時會處理所有的復雜事物。goroutines 的存在以及基于管道的并發(fā)方法，使得程序可以充分利用 CPU 資源、處理并發(fā) IO — 所有這些都沒有增加開發(fā)的復雜性。與 Python/Java 相比，在 goroutine 上運行一個函數(shù)只需要非常少的樣板代碼。您只需在函數(shù)調(diào)用前加上關鍵字“go”：

　　https://tour.golang.org/concurrency/1

　　和 Node 相比，Go 的并發(fā)處理更加容易。如果使用 Node 寫并發(fā)方法，開發(fā)者必須密切關注異步代碼的處理方式。

　　Go 自帶競爭檢測器，這是用 Go 寫并發(fā)程序另一個好的方面。如果異步代碼中出現(xiàn)條件競爭的情況，檢測器能幫你輕松地找到問題。

　　如果要學習 Go 和管道的話，下面是一些不錯的資料：

　　https://blog.golang.org/race-detector

　　https://tour.golang.org/concurrency/2

　　http://guzalexander.com/2013/12/06/golang-channels-tutorial.html

　　https://www.golang-book.com/books/intro/10

　　https://www.goinggo.net/2014/02/the-nature-of-channels-in-go.html

　　Goroutines vs Green threads

　　原因 5 – 編譯時間短

　　目前，我們使用 Go 編寫的最大微服務只需 6 秒鐘就能完成編譯。與 Java 和 C++ 這樣以低速編譯速度著稱的語言相比，Go 的快速編譯能力是一場生產(chǎn)力上的大勝。我也喜歡趁著代碼編譯的時間去放松一下，但是，如果能在我還記得代碼是做什么事情的時候就完成編譯，豈不更好?況且本來就應該是這樣的才對。

　　首先，讓我們認清一個現(xiàn)實：與 C++ 和 Java 這樣的老牌編程語言相比，Go 開發(fā)人員的數(shù)量是不占上風的。根據(jù) StackOverflow 的數(shù)據(jù)，38% 的開發(fā)人員熟悉 Java，19.3% 的開發(fā)人員熟悉 C++，僅僅 4.6% 的開發(fā)人員熟悉 Go。GitHub 上的數(shù)據(jù)顯示一個相似的趨勢： Go 用得比 Erlang、Scala 以及 Elixir 廣泛，但是不及 Java 和 C++。

　　幸運的是，Go 很簡單，而且易于學習。它提供了你所需要的基本的特性，一點不多，一點不少。它引入了 2 個新的概念：“defer”聲明、“go routines” 和管道內(nèi)建的并發(fā)管理。(對于純粹主義者來說：Go 并不是第一種實現(xiàn)這些概念的語言，而是第一種使它們受歡迎的語言。)團隊中任何地 Python、Elixir、C++、Scala 或 Java 開發(fā)人員都可以在一個月內(nèi)有效地掌握 Go，因為它非常簡單。

　　我們發(fā)現(xiàn)，和很多其他的編程語言相比，創(chuàng)建一個 Go 開發(fā)團隊更容易。如果你在競爭激烈的環(huán)境(如 Boulder、Amsterdam)雇傭人員，這是一大優(yōu)點。

　　原因 7 – 強大的生態(tài)系統(tǒng)

　　對于我們一個大約 20 個人的團隊來說，生態(tài)系統(tǒng)很重要。如果你不得不重新發(fā)明每一部分的功能，你根本不可能為你的客戶創(chuàng)造價值。Go 對我們使用的工具提供了很大的支持。比如這些可靠的庫：Redis、RabbitMQ、PostgreSQL、模板解析、任務調(diào)度、表達式解析和 RocksDB。

　　與 Rust 或 Elixir 等其他新語言相比，Go 的生態(tài)系統(tǒng)是一項重大勝利。當然，Go 并不像 Java、Python 或者 Node 那樣出色。但是它非常的可靠，并且對于一些基本的需求，你都可以找到高質量的包。

　　原因 8 – Gofmt：強制代碼格式化

　　那么什么是 Gofmt 呢?注意，它并不是臟話。Gofmt 是一個極棒的命令行工具集，已集成到了 Go 編譯器，用于格式化代碼。從功能上來講，它有點像 Python 中的 autopep8。除非是在《硅谷》電視劇中，不然大多數(shù)人并不真的喜歡爭論該用 tabs 還是 spaces。格式的一致性是非常重要的，但是實際的格式標準并不是那么重要。Gofmt 提供官方的標準來格式化你的代碼，從而避免了不必要的爭論。

　　原因 9 – gRPC 與 Protocol Buffers

　　Go 對 protocol buffers 和 gRPC 有著一流的支持。在構建需要通過 RPC 進行通信的微服務時，這兩個工具可以很好地協(xié)同工作。你只需編寫一個說明文件，里面只需定義可以進行的 RPC 調(diào)用以及它們采用的參數(shù)。根據(jù)這份說明文件，服務器和客戶端代碼就會自動生成。由此產(chǎn)生的代碼運行快速，網(wǎng)絡占用空間小，易于使用。

　　根據(jù)相同的說明文件，甚至可以生成很多不同編程語言的客戶端代碼，比如 C++、Java、Python 和 Ruby。因此，內(nèi)部流量不再有模糊的 REST 終端，因為你不必每次都寫一遍幾乎相同的客戶端和服務器端代碼。

　　使用 Golang 的缺點

　　缺點 1 – 缺少框架

　　Go 沒有一個具有代表性的框架，像 Ruby 有 Rails、Python 有 Django 或者 PHP 有 Laravel。在 Go 社區(qū)中，這是一個爭論激烈的話題，很多人提倡不應該一開始就使用框架。某些使用案例，我完全同意這樣的觀點。然而，如果只是想要創(chuàng)建一個增刪改查的接口，使用 Django/DJRF、Rails Laravel 或者 Phoenix 是一個更好的選擇。

　　缺點 2 – 錯誤處理機制

　　Go 處理錯誤的過程如下：簡單地從函數(shù)中返回錯誤，并且期望你調(diào)用代碼來處理該錯誤(或者將它返回到調(diào)用堆棧之上)。雖然這種方法有效，但很容易丟失出錯的范圍，導致無法為用戶提供有意義的錯誤。 errors 包通過允許你為錯誤添加上下文和堆棧來跟蹤問題。

　　另一個問題是很容易忘記處理錯誤。像 errcheck 和 megacheck 這樣的靜態(tài)分析工具可以方便地規(guī)避這些錯誤。

　　雖然這些解決方法很有效，但總感覺哪里不太對勁。 你肯定希望語言本身就支持一定的錯誤處理的功能。

　　缺點 3 – 包管理

　　Go 的包管理肯定不是完美的。默認情況下，它沒有辦法指定依賴項的特定版本，也沒有辦法創(chuàng)建可重現(xiàn)的構建。 Python、Node 和 Ruby 都有更好的包管理系統(tǒng)。然而，通過合適的工具，Go 的包管理表現(xiàn)的很好。

　　你可以使用 Dep 來管理依賴項以允許指定和固定版本。 除此之外，我們還提供了一個叫做 VirtualGo 的開源工具，它可以更輕松地處理用 Go 編寫的多個項目。

　　我們之前做過一個有趣的實驗：選擇我們的 ranked feed 功能，用 Go 語言將它重寫。簡單看下這個排名方法的例子：

　　為了使這個排名方法成立，Python 和 Go 都需要遵循下面的事：

　　解析表達式以便打分。在這種情況下，我們希望將“simple_gauss(time)* popular”這個字符串轉換成一個函數(shù)：函數(shù)以一個活動作為輸入，然后返回一個分數(shù)作為輸出。

　　基于 JSON 配置創(chuàng)建偏函數(shù)。比如：我們想要“simple_gauss”調(diào)用“decay_gauss”，并傳遞規(guī)模為 5 天，偏差為 1 天，衰減系數(shù)為 0.3 這些參數(shù)。

　　解析“默認值”配置，以便在活動中出現(xiàn)未定義字段時可以進行回退。

　　使用步驟 1 中的函數(shù)給流中的所有活動打分。

　　開發(fā) Python 版本的排名代碼大約需要 3 天。這包括編寫代碼、單元測試和文檔書寫。接下來，我們花了大約 2 周時間來優(yōu)化代碼。其中一個優(yōu)化是將評分表達式(simple_gauss(time)*popularity)轉換為抽象語法樹。我們還實現(xiàn)了緩存邏輯，該邏輯在將來的某些時間預先計算得分。

　　相比之下，開發(fā)該代碼的 Go 版本大約需要 4 天時間。性能不需要任何進一步的優(yōu)化。因此，雖然 Python 初始的開發(fā)速度更快些，但如果基于 Go 的版本，最終，我們團隊的工作量大大減少。作為額外的優(yōu)點，Go 代碼的執(zhí)行速度比我們高度優(yōu)化的 Python 代碼快大約 40 倍。

　　這只是一個簡單的說明性能提升的例子：僅僅用 Go 替換 Python。 當然，它們沒有可比性：

　　排名代碼是我第一個用 Go 寫的項目

　　Go 代碼是在 Python 代碼之后構建的，因此我可以更好地理解用例

　　用于表達式解析的 Go 庫是非常高質量的

　　具體細節(jié)需要視情況而定。和 Python 相比，用 Go 構建一些我們系統(tǒng)中其他的組件，需要花費更多的時間。一般情況下，我們發(fā)現(xiàn)用 Go 開發(fā)代碼更費些勁。然而，在性能方面，我們花費更少的時間來優(yōu)化代碼。

　　Elixir vs Go

　　我們評估了另一種語言：Elixir。Elixir 構建于 Erlang 虛擬機之上。這是一種引人入勝的語言。我們考慮過它，因為我們團隊成員中有一個人擁有大量的 Erlang 經(jīng)驗。

　　對于我們的用例，我們注意到 Go 的原始性能要好得多。Go 和 Elixir 都可以很好地為數(shù)千個并發(fā)請求提供服務。但是，如果你查看單個請求的性能，Go 對我們的用例來說要快得多。生態(tài)系統(tǒng)是另一個我們選擇 Go 而不選擇 Elixir 的原因。對于我們需要的組件，Go 有更多成熟的庫，而在許多情況下，Elixir 庫還沒有為生產(chǎn)使用做好準備。培訓/招聘用 Elixir 的開發(fā)人員也更難。

　　這些原因讓我們選擇了 Go。雖然 Elixir 的 Phoenix 框架看起來非常棒，并且也絕對值得一看。

　　總結

　　Go 是一種非常高效的語言，且對并發(fā)性有很大的支持。它的性能幾乎與 C++ 和 Java 等語言一樣快。雖然和 Python 或 Ruby 相比，使用 Go 構建內(nèi)容需要花費更多時間，但你將節(jié)省大量時間來優(yōu)化代碼。

　　我們在 Stream 有一個小型的開發(fā)團隊，為超過2億的終端用戶提供信息流。擁有一個偉大的生態(tài)系統(tǒng)、新開發(fā)人員容易上手、快速的性能、對并發(fā)性的可靠支持以及高效的編程環(huán)境，使 Go 成為一個很好的選擇。

　　Stream 仍然利用 Python 為我們的控制面板、站點和機器學習提供個性化的流。 我們不會很快告別 Python，但是所有性能密集型代碼都將用 Go 編寫。

　　如果你想要了解更多有關 Go，查看下面列出的博客文章。如果你想要了解 Stream，這個互動教程是一個好的起點。