搞大數據，Java 工程師需要掌握哪些知識？

時間：2020-08-21 12:02:01

關鍵字： java 大數據技術

手機看文章

掃描二維碼
隨時隨地手機看文章

[導讀]題目是一名叫“截然不同”的同學私信我的一個問題，原話是，“搞大數據，java 需要掌握哪些技術點?”，我稍微調整了一下。必須得承認一點，我本人沒有搞過大數據，所在這方面的經驗為零。但同學既然問了，咱

題目是一名叫“截然不同”的同學私信我的一個問題，原話是，“搞大數據，java 需要掌握哪些技術點?”，我稍微調整了一下。必須得承認一點，我本人沒有搞過大數據，所在這方面的經驗為零。

但同學既然問了，咱就不能假裝不知道啊，雖然真的是不知道。但要變強，就必須無所畏懼，迎難而上，對吧?

幸好我身邊有一些朋友是做大數據的，我可以向他們請教，了解清楚后，我現在就把他們給我的建議整理一下發(fā)出來，希望給有需求的同學們一點幫助。

01、大數據的就業(yè)方向有哪些?

現實點，我們掌握任何技能都是為了就業(yè)，為了能夠找份工作糊口;立志不打工的同學們請繞行哈。

那大數據的就業(yè)方向都有哪些呢?

大數據工程師大數據科學家數據分析師

那針對這些不同的就業(yè)方向，都需要哪些技能呢?我們來一一的分析下。

02、大數據工程師的技能要求

大數據工程師的門檻相對其他兩個較低一些，所以同學們可以重點關注一下這個方向。

先說一些必備的技能吧。

對 Java 虛擬機有著深入的研究，推薦書籍，周志明的《深入理解 Java 虛擬機》。對 Java 并發(fā)掌握得很透徹，推薦書籍，《Java 并發(fā)編程實戰(zhàn)》。掌握 Hadoop。Hadoop 是一款支持數據密集型分布式應用程序并以 Apache 2.0 許可協議發(fā)布的開源軟件框架，可以使應用程序與成千上萬的獨立計算的電腦和 PB 級的數據連接起來，整個 Hadoop “平臺”還包括 MapReduce、Hadoop 分布式文件系統(HDFS)。掌握 HBase。HBase 是一個開源的非關系型分布式數據庫，是 Hadoop 項目的一部分，運行于 HDFS 文件系統之上，對稀疏文件提供極高的容錯率。掌握 Hive。Hive 是一個建立在 Hadoop 架構之上的數據倉庫，能夠提供數據的精煉，查詢和分析。掌握 Kafka。Kafka 的目標是為處理實時數據提供一個統一、高吞吐、低延遲的平臺。掌握 Storm。Storm 是一個分布式計算框架，使用用戶創(chuàng)建的“管”和“螺栓”來定義信息源和操作，允許批量、分布式處理流式數據。了解 Scala。Scala 是一門多范式的編程語言，設計初衷是要集成面向對象編程和函數式編程的各種特性。可以和 Java 兼容，運行在 Java 虛擬機上。掌握 Spark。Spark 是一個開源集群運算框架，相對于 Hadoop 的 MapReduce 會在運行完工作后將中介數據存放到磁盤中，Spark 使用了存儲器內運算技術，能在數據尚未寫入硬盤時即在存儲器內分析運算。會用 Linux。推薦書籍，鳥哥的《Linux 私房菜》。

再來說一些高階的技能吧。

會用 Python。會用 R 語言。精通算法和數據結構。

03、大數據科學家的技能要求

“科學家”，這個 title 聽起來就很牛逼，不會出乎同學們的意料，我小時候的夢想之一除了成為一名作家之外，就是成為一名“科學家”。

那大數據科學家，要求的技能就會超出絕大多數普通人的能力。首先，要對“統計機器學習方法”有著很深入的研究，既要會預測，還要能解釋為什么要這樣預測，對吧?

如果要預測股票是漲還是跌，就必須得有一套可以解釋給客戶聽的理論，還要有一套預測方法，讓程序能夠按照這個方法去執(zhí)行，并得出預期的結論。

現如今，數據已經不值錢了，哪里都是大量的數據，值錢的是通過對這些數據進行分析，得出指導性的建議—;—;這就要求科學家要有數據處理的能力。

不多說了，這方面的要求非常高，最起碼也得考個研究生吧。

04、數據分析師的技能要求

數據分析也可以細分為兩個領域，一個類似產品經理，更注重業(yè)務，對業(yè)務能力要求比較高;一個偏向數據挖掘，更注重技術，對算法和數據結構要求比較高。

那不管是產品經理還是做數據挖掘，SQL 是必知必會的，因為數據分析師每天都要處理海量的數據，而這些數據來自哪呢?就是數據庫。那怎么把數據從數據庫中取出來呢?SQL 語句(select * from xxx，哈哈)，別無其他。

那還需要什么技能呢?統計學基礎，對，沒錯，數據和時間的關系，數據的動態(tài)分布，數據的最大值、最小值、平均值，這些都需要一定的統計學基礎。