當前位置:首頁 » 基礎信息 » 學hadoop要什麼基礎
擴展閱讀

學hadoop要什麼基礎

發布時間: 2025-02-01 05:56:29

『壹』 學hadoop需要什麼基礎

學hadoop需要的基礎如下:

除了上述這幾個方面,我們還需要了解hadoop的單機模式、偽分布模式和分布式模式的搭建方式。了解MapRece分布式計算框架、Yarn集群資源管理和調度平台、hdfs分布式文件系統、hive數據倉庫、HBase實時分布式資料庫、Flume日誌收集工具、sqoop資料庫ETL工具、zookeeper分布式協作服務、Mahout數據挖掘庫等。

關於學習hadoop需要具備什麼基礎知識,首先應該從整體了解hadoop,包括hadoop是什麼,能夠幫助我們解決什麼問題,以及hadoop的使用場景等。在有了整體上的了解後,就可以開始系統的學習hadoop。當然,若是能夠結合一些實踐性的東西學習會更有助於理解hadoop。

『貳』 學習hadoop需要具備哪些基礎

在平台方面,hadoop環境需要搭建在linux伺服器上,首先需要了解Linux的基礎知識與命令;
開發方面,hadoop首先是個提供大數據存儲的平台,因此我們要使用其存儲功能,因此需要掌握其數據操作的api(scala api 或者 java api);其次是hadoop是大數據分析的數據源,熟悉對大數據的 分析/使用 方法(spark/map-rece技術,都有scala 和 java兩種api)。
因此,學習hadoop必須掌握scala或者java中的一門開發語言,然後在學習hadoop數據操作命令,api,spark/map-rece分析技術。
另外,還可以學習hbase這種基於hdfs的結構化大數據存儲技術,和flume大數據採集技術。