当前位置:首页 » 基础信息 » 学hadoop要什么基础
扩展阅读

学hadoop要什么基础

发布时间: 2025-02-01 05:56:29

‘壹’ 学hadoop需要什么基础

学hadoop需要的基础如下:

除了上述这几个方面,我们还需要了解hadoop的单机模式、伪分布模式和分布式模式的搭建方式。了解MapRece分布式计算框架、Yarn集群资源管理和调度平台、hdfs分布式文件系统、hive数据仓库、HBase实时分布式数据库、Flume日志收集工具、sqoop数据库ETL工具、zookeeper分布式协作服务、Mahout数据挖掘库等。

关于学习hadoop需要具备什么基础知识,首先应该从整体了解hadoop,包括hadoop是什么,能够帮助我们解决什么问题,以及hadoop的使用场景等。在有了整体上的了解后,就可以开始系统的学习hadoop。当然,若是能够结合一些实践性的东西学习会更有助于理解hadoop。

‘贰’ 学习hadoop需要具备哪些基础

在平台方面,hadoop环境需要搭建在linux服务器上,首先需要了解Linux的基础知识与命令;
开发方面,hadoop首先是个提供大数据存储的平台,因此我们要使用其存储功能,因此需要掌握其数据操作的api(scala api 或者 java api);其次是hadoop是大数据分析的数据源,熟悉对大数据的 分析/使用 方法(spark/map-rece技术,都有scala 和 java两种api)。
因此,学习hadoop必须掌握scala或者java中的一门开发语言,然后在学习hadoop数据操作命令,api,spark/map-rece分析技术。
另外,还可以学习hbase这种基于hdfs的结构化大数据存储技术,和flume大数据采集技术。