本篇文章主要是手把手教你搭建 ELK 實(shí)時(shí)日志分析平臺(tái)，那么，ELK 到底是什么呢？

ELK 是三個(gè)開源項(xiàng)目的首字母縮寫，這三個(gè)項(xiàng)目分別是：Elasticsearch、Logstash 和 Kibana。

• Elasticsearch 是一個(gè) 搜索和分析引擎。
• Logstash 是 服務(wù)器端數(shù)據(jù)處理管道，能夠同時(shí)從多個(gè)來(lái)源采集數(shù)據(jù)，轉(zhuǎn)換數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到諸如 Elasticsearch 等存儲(chǔ)庫(kù)中。
• Kibana 則可以讓用戶在 Elasticsearch 中 使用圖形和圖表對(duì)數(shù)據(jù)進(jìn)行可視化。

Elasticsearch 的核心是搜索引擎，所以用戶開始將其用于日志用例，并希望能夠輕松地對(duì)日志進(jìn)行采集和可視化。有鑒于此，Elastic 引入了強(qiáng)大的采集管道 Logstash 和靈活的可視化工具 Kibana。

ELK日志系統(tǒng)數(shù)據(jù)流圖如下：

簡(jiǎn)短了解 ELK 是個(gè)啥后，讓我們一起動(dòng)手搭建 ELK 實(shí)時(shí)日志分析平臺(tái)，首先安裝 Elasticsearch。

注：ELK 環(huán)境搭建版本很關(guān)鍵，建議統(tǒng)一版本，避免錯(cuò)誤無(wú)處下手，我在這里選用的是 7.1.0 版本。

ElasticSearch 介紹與安裝

ElasticSearch 的介紹與安裝在上一篇文章已經(jīng)講過(guò)了，這里就不進(jìn)行贅述了，大家可以點(diǎn)擊下方鏈接查看：

全文搜索引擎 Elasticsearch 入門：集群搭建

如果你已經(jīng)了解并安裝好 Elasticsearch，那么就跟著我一起往下一步進(jìn)發(fā)：了解并安裝 Kibana。

Kibana 介紹與安裝

這部分主要講解如何下載并安裝 Kibana，以及如何安裝 Kibana 插件，同時(shí)會(huì)針對(duì) Kibana 的界面進(jìn)行簡(jiǎn)單的介紹。

首先讓我們來(lái)看下 Kibana 究竟是何物？

什么是 Kibana？

Kibana 是為 Elasticsearch 設(shè)計(jì)的開源分析和可視化平臺(tái)，你可以使用 Kibana 來(lái)搜索，查看存儲(chǔ)在 Elasticsearch 索引中的數(shù)據(jù)并與之交互，你可以很容易實(shí)現(xiàn)高級(jí)的數(shù)據(jù)分析和可視化，以圖標(biāo)的形式展現(xiàn)出來(lái)。

在簡(jiǎn)單了解了 Kibana 后，讓我們來(lái)到 Kibana 的下載網(wǎng)站 https://www.elastic.co/cn/downloads/kibana ，目前使用的是 Windows 系統(tǒng)，因此下載 Windows 版本的 Kibana 下載包 kibana-7.1.0-windows-x86_64.zip。

運(yùn)行 Kibana

下載完成后在本地解壓，如果需要對(duì) Kibana 做一些定制，可以在 config 目錄下 編輯 kibana.yml 文件，在運(yùn)行 Kibana 之前需要先運(yùn)行 ElasticSearch（以下簡(jiǎn)稱 ES），因?yàn)?Kibana 是基于 ES 運(yùn)行的，現(xiàn)在進(jìn)入 bin 目錄下打開 kibana.bat 就可以運(yùn)行 Kibana 了，我們現(xiàn)在打開瀏覽器，Kibana 是運(yùn)行在 5601 端口上的，因此打開 http://localhost:5601，打開后會(huì)出現(xiàn)如下頁(yè)面：

導(dǎo)入樣例數(shù)據(jù)，查看 Dashboard

進(jìn)入首頁(yè)后會(huì)提示我們可以添加一些測(cè)試數(shù)據(jù)，ES 在 Kibana 開箱即用的版本中，已經(jīng)為我們準(zhǔn)備了三種樣例數(shù)據(jù)，電商網(wǎng)站的訂單，航空公司的飛行記錄以及 WEB 網(wǎng)站的日志，我們可以點(diǎn)擊 Add data，把他們添加進(jìn)來(lái)，添加完成后，我們可以打開 Dashboards 界面，就可以看到系統(tǒng)已經(jīng)為我們創(chuàng)建了數(shù)據(jù)的 Dashboard。

第一個(gè)是電商的利潤(rùn)報(bào)表，我們可以打開來(lái)看一下：

在 Dashboard 中，我們可以將多套可視結(jié)果整合至單一頁(yè)面內(nèi)，而后提供搜索查詢或者點(diǎn)擊可視結(jié)果內(nèi)的某元素指定過(guò)濾條件，從而實(shí)現(xiàn)結(jié)果過(guò)濾，Dashboard 能夠幫助我們更全面地了解總體日志內(nèi)容，并將各可視結(jié)果同日志關(guān)聯(lián)起來(lái)，以上就是 Kibana 的 Dashboard 功能。

Dev Tools

接下來(lái)介紹 Kibana 里面非常有用的工具 Dev Tools，其實(shí)就是可以很方便地在 Kibana 中執(zhí)行 ES 中的一些 API，比如我們上文講到的檢測(cè)有哪些節(jié)點(diǎn)在運(yùn)行：GET /_cat/nodes?v，這樣我們就能在 Kibana 中運(yùn)行 ES 命令了。

另外，Kibana 的 Dev Tools 還有許多的快捷菜單操作，比如 Ctrl + / 可以查看 API 幫助文檔，其他的大家可以去自行摸索。

安裝與查看插件

Kibana 可以通過(guò)插件的方式來(lái)提供一些 Kibana 中的特定應(yīng)用或者增強(qiáng)圖表展示的功能，Kibana 安裝插件和 ES 非常相似。

輸入 kibana-plugin install kibana-plugin install https://github.com/sivasamyk/logtrail/releases/download/v0.1.31/logtrail-7.1.0-0.1.31.zip 就可以下載 LogTrail 插件了。

在 cmd 中輸入 kibana-plugin list 可以查看本機(jī)已安裝的 Kibana 插件。

如果想移除插件可以使用 kibana-plugin remove logtrail 命令來(lái)進(jìn)行移除插件。

到此為止，我們就下載并安裝完成 Kibana，并對(duì) Kibana 主要功能進(jìn)行簡(jiǎn)單介紹，還介紹了 Dev Tools，大家可以自己在本地進(jìn)行實(shí)踐操作下。

目前就差 ELK 三兄弟的最后一個(gè)：Logstash，讓我們一起學(xué)習(xí)下。

Logstash 介紹與安裝

這部分主要是下載并安裝 Logstash，并通過(guò) Logstash 將測(cè)試數(shù)據(jù)集導(dǎo)入到 ES 中。

話不多說(shuō)，首先讓我們來(lái)了解下 Logstash 是個(gè)啥？

什么是 Logstash？

Logstash 是開源的服務(wù)器端數(shù)據(jù)處理管道，能夠同時(shí)從多個(gè)來(lái)源采集數(shù)據(jù)，轉(zhuǎn)換數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到您最喜歡的存儲(chǔ)庫(kù)中。

Logstash 能夠動(dòng)態(tài)地采集、轉(zhuǎn)換和傳輸數(shù)據(jù)，不受格式或復(fù)雜度的影響。利用 Grok 從非結(jié)構(gòu)化數(shù)據(jù)中派生出結(jié)構(gòu)，從 IP 地址解碼出地理坐標(biāo)，匿名化或排除敏感字段，并簡(jiǎn)化整體處理過(guò)程。

數(shù)據(jù)往往以各種各樣的形式，或分散或集中地存在于很多系統(tǒng)中。Logstash 支持各種輸入選擇 ，可以在同一時(shí)間從眾多常用來(lái)源捕捉事件，能夠以連續(xù)的流式傳輸方式，輕松地從您的日志、指標(biāo)、Web 應(yīng)用、數(shù)據(jù)存儲(chǔ)以及各種 AWS 服務(wù)采集數(shù)據(jù)。

再了解過(guò)后，讓我們?nèi)ハ螺d安裝 Logstash。

安裝 Logstash

還是來(lái)到 Logstash 的官網(wǎng)，進(jìn)入到下載頁(yè)面 https://www.elastic.co/cn/downloads/logstash，下載的時(shí)候注意要和 ES 和 Kibana 的版本相同，這里下載的為 7.1.0 版本 logstash-7.1.0.zip。

下載后進(jìn)行解壓，也可以進(jìn)入 conf 目錄下修改 logstash.conf 進(jìn)行配置，運(yùn)行的時(shí)候可以通過(guò)指定配置文件 logstash -f logstash.conf 就可以執(zhí)行數(shù)據(jù)的插入和轉(zhuǎn)換的工作。

再安裝完成之后，讓我們來(lái)使用 Logstash 往 ES 中導(dǎo)入數(shù)據(jù)。

用 Logstash 導(dǎo)入 ES

下面我們來(lái)導(dǎo)入測(cè)試數(shù)據(jù)集，首先修改 logstash.conf 文件，內(nèi)容為：

input { file { path => ["D:/SoftWare/logstash-7.1.0/csv/movies.csv"] start_position => "beginning" sincedb_path => "D:/SoftWare/logstash-7.1.0/csv/null" }}filter { csv { separator => "," columns => ["id","content","genre"] }
 mutate { split => { "genre" => "|" } remove_field => ["path", "host","@timestamp","message"] }
 mutate {
 split => ["content", "("] add_field => { "title" => "%{[content][0]}"} add_field => { "year" => "%{[content][1]}"} }
 mutate { convert => { "year" => "integer" } strip => ["title"] remove_field => ["path", "host","@timestamp","message","content"] }
}output { elasticsearch { hosts => "http://localhost:9200" index => "movies" document_id => "%{id}" } stdout {}}

測(cè)試數(shù)據(jù)集來(lái)自 Movielens ：https://grouplens.org/datasets/movielens/，大家可以前往下載。配置文件中的 path 根據(jù)自己下載的測(cè)試文件路徑去修改。另外，配置文件的邏輯將在以后的文章中進(jìn)行講解。

現(xiàn)在來(lái)執(zhí)行命令 logstash -f logstash.conf 來(lái)把數(shù)據(jù)導(dǎo)入 ES。當(dāng)看到數(shù)據(jù)打印到控制臺(tái)時(shí)，數(shù)據(jù)也正在被寫入 ES 中。

到此為止，我們就成功安裝了 Logstash，并通過(guò) Logstash 將測(cè)試數(shù)據(jù)集寫入 ES，同時(shí)我們的 ELK 實(shí)時(shí)日志分析平臺(tái)就搭建完成了。

補(bǔ)充

在通過(guò) Logstash 將測(cè)試數(shù)據(jù)集寫入 ES 后，小伙伴會(huì)發(fā)現(xiàn) movies 索引狀態(tài)為 yellow，不用擔(dān)心，yellow 代表有副本分片沒(méi)有被分配。

因?yàn)橹辉诒緳C(jī)之啟動(dòng)了一個(gè)節(jié)點(diǎn)，而 movies 的索引設(shè)置了一個(gè)主分片一個(gè)副本分片，主副分片是無(wú)法分配在一個(gè)節(jié)點(diǎn)上的。

解決方法：修改索引 setting，將副本 replica 設(shè)置成 0，或者為集群增加一個(gè)節(jié)點(diǎn)，狀態(tài)就會(huì)變?yōu)?green。

總結(jié)

本文主要了解了什么是 ELK，然后通過(guò)實(shí)際操作和大家一起搭建了一個(gè) ELK 日志分析平臺(tái)，如果在搭建過(guò)程中有什么問(wèn)題，歡迎留言交流討論。

參考文獻(xiàn)

https://www.elastic.co/guide/en/kibana/7.1/index.html

https://www.elastic.co/guide/en/logstash/7.1/index.html

Elasticsearch核心技術(shù)與實(shí)戰(zhàn)