kafka的編譯和使用

一.kafka的使用
kafka官網(wǎng)提供了編譯好的二進(jìn)制包，下載即用http://kafka.apache.org/downloads。最新版本的是1.1.0
Kafka是使用scala編寫(xiě)的運(yùn)行于jvm虛擬機(jī)上的程序，雖然也可以在windows上使用，但基本上是運(yùn)行在linux服務(wù)器上，因此我們這里也使用linux（Fedora 20）來(lái)開(kāi)始今天的實(shí)戰(zhàn)。
首先確保你的機(jī)器上安裝了jdk，kafka需要java運(yùn)行環(huán)境，以前的kafka還需要zookeeper，新版的kafka已經(jīng)內(nèi)置了一個(gè)zookeeper環(huán)境，所以我們可以直接使用。
1.安裝jdk

我的Fedora 20是32位的，但是最新的JDK 10只有64位版本了，因此要下載老版本，JDK 7以上的版本就行。

歷史版本下載地址：http://www.oracle.com/technetwork/java/javase/archive-139210.html

我下載的是jdk-7u80-linux-i586.rpm

☆查看當(dāng)前的jdk情況

# rpm -qa|grep jdk

linux系統(tǒng)一般默認(rèn)會(huì)安裝openjdk，據(jù)說(shuō)是jdk的開(kāi)源版本，先卸載之。

☆卸載openjdk

# yum -y remove java java-1.7.0-openjdk*

☆安裝jdk

# rpm -ivh jdk-7u80-linux-i586.rpm

因?yàn)榘惭b的是rpm包，所以不需要配置環(huán)境變量了，下面查看是否安裝成功。

☆查看jdk版本

# java -version

2.安裝kafka

說(shuō)是安裝，實(shí)際上就是解壓。如果只需要進(jìn)行最簡(jiǎn)單的嘗試的話我們只需要解壓到任意目錄即可，這里我們將kafka壓縮包解壓到/home目錄。

> tar -xzf kafka_2.11-1.1.0.tgz
> cd kafka_2.11-1.1.0

3.使用kafka

啟動(dòng)zookeeper

> bin/zookeeper-server-start.sh config/zookeeper.properties

啟動(dòng)kafka

> bin/kafka-server-start.sh config/server.properties

創(chuàng)建topic，這里創(chuàng)建一個(gè)名為“test”的主題，該主題只有一個(gè)分區(qū)和一個(gè)副本

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看topic

> bin/kafka-topics.sh --list --zookeeper localhost:2181
test

除了可以手動(dòng)創(chuàng)建topic，還可以配置broker自動(dòng)創(chuàng)建topic，當(dāng)向一個(gè)不存在的topic發(fā)布數(shù)據(jù)的時(shí)候
創(chuàng)建producer，停留在cmd終端，接受輸入，以回車(chē)發(fā)送，即每一行是一條單獨(dú)的消息

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

創(chuàng)建consumer，停留在cmd終端，顯示輸出

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

所有的命令行都有可選參數(shù)，如果不帶參數(shù)，會(huì)顯示詳細(xì)的使用信息

關(guān)閉zookeeper

> bin/zookeeper-server-stop.sh

實(shí)踐中發(fā)現(xiàn)并不能正常關(guān)閉，提示No zookeeper server to stop，需要將該shell文件修改如下

SIGNAL=${SIGNAL:-TERM}
PIDS=$(ps ax | grep java | grep -i zookeeper | grep -v grep | awk '{print $1}')

if [ -z "$PIDS" ]; then
  echo "No zookeeper server to stop"
  exit 1
else
  kill -s $SIGNAL $PIDS
fi

關(guān)閉kafka

> bin/kafka-server-stop.sh

實(shí)踐中發(fā)現(xiàn)并不能正常關(guān)閉，提示No kafka server to stop，需要將該shell文件修改如下

SIGNAL=${SIGNAL:-KILL}
PIDS=$(ps ax | grep -i kafka | grep java | grep -v grep | awk '{print $1}')

if [ -z "$PIDS" ]; then
  echo "No kafka server to stop"
  exit 1
else
  kill -s $SIGNAL $PIDS
fi

注意，這里的信號(hào)改成了SIGKILL，因?yàn)樵瓉?lái)的SIGTERM信號(hào)根本就不能結(jié)束kafka服務(wù)。如果先關(guān)閉kafka服務(wù)，zookeeper也會(huì)一起關(guān)閉了。
二.kafka的編譯

會(huì)編譯，有備無(wú)患。下載源碼kafka-1.1.0-src.tgz

解壓，這里也解壓到/home目錄下

> tar -xzf kafka-1.1.0-src.tgz
> cd kafka-1.1.0-src

查看里面的README.md文檔，編譯依賴(lài)1.Gradle 3.0或更高版本；2.Java 7。jdk前面已經(jīng)安裝過(guò)了，現(xiàn)在安裝Gradle。

Gradle下載https://gradle.org/install/，該頁(yè)面指出Gradle依賴(lài)Java 7或更高版本。最新的Gradle版本是4.6，下載其編譯好的二進(jìn)制包gradle-4.6-bin.zip。

解壓，這里也解壓到/home目錄下

$ unzip -d gradle-4.6-bin.zip
$ ls radle-4.6
LICENSE  NOTICE  bin  getting-started.html  init.d  lib  media

將bin添加到環(huán)境變量，編輯/etc/profile文件，在其末尾添加

export PATH=$PATH:/home/zhangcan/gradle-4.6/bin

使修改的profile立即生效

$ source /etc/profile

測(cè)試一下

$ gradle -v

CD到kafka源碼目錄，開(kāi)始編譯

1.輸入gradle指令，開(kāi)始下載環(huán)境

$ gradle

下載了一堆東西，如果提示有文件下載失敗，多執(zhí)行幾次該指令即可

2.編譯

$ ./gradlew releaseTarGz -x signArchives

還是下載了一堆東西，如果提示有文件下載失敗，多執(zhí)行幾次該指令即可。公司網(wǎng)速慢，編譯花了半個(gè)小時(shí)，編譯成功后會(huì)提示。

此時(shí)，會(huì)在kafka-1.1.0-src/core/build/distributions目錄下生成一個(gè)名為kafka_2.11-1.1.0.tgz的二進(jìn)制包，這個(gè)包和從官網(wǎng)下載的二進(jìn)制包是一毛一樣的。

編譯過(guò)程很順利，沒(méi)有發(fā)現(xiàn)任何問(wèn)題。

參考鏈接：http://kafka.apache.org/quickstart